실습 체크리스트 · 실제 측정 결과 개선하기

실습 10단계 · 선택 기록표 · 문제 해결

본인이 진행한 실습의 평가 → 학습 → 개선 → 재평가를 점검하는 자료입니다. 실습 가이드를 대신하는 별도 경로가 아닙니다. 약한 기준선을 인위적으로 만들거나 앞으로의 모든 평가가 개선된다고 약속하지 않습니다.

시작 전에 확인합니다

모든 실습 참여자가 01–10을 직접 수행합니다. 본인의 계정·PC·전용 환경·Agent를 사용하며 다른 사람에게 생성·명령·정리를 맡기지 않습니다. 시작 전에 필요한 생성·역할 할당 권한과 비용·삭제/보존 범위를 확인합니다.

기본 경로는 01의 GitHub Codespaces입니다. Python 3.11–3.14·Git·Azure CLI를 내 PC에 설치하는 경우에만 로컬 설치와 버전 확인을 따릅니다. 선택한 실습 환경에서 로그인과 가상환경 확인을 마칩니다.

메모는 선택 사항입니다. 쓴다면 07, 09, 10에서만 짧게 남기며 기록이 저장되는 곳을 참고합니다. 다른 사람의 설정·로그인·소유권 기록을 사용하지 않습니다. 새 터미널에서는 재개 절차로 같은 환경과 기록을 이어갑니다.

여섯 가지 용어와 질문→응답→채점 도식을 읽고 “답변하는 Agent와 채점하는 Judge는 다르다”, “모델이 아니라 지침을 바꾼다”를 설명할 수 있는지 확인합니다. 용어 암기나 높은 점수는 시작 조건이 아닙니다.

04–06은 같은 평가 생성 화면입니다. 단계마다 새 평가를 만들지 않습니다. 07에서는 한 사례의 점수·이유·정책을 연결해 읽은 뒤 전체 결과를 분석합니다.

각 단계의 실행 순서 링크로 실제 명령이나 포털 화면을 먼저 엽니다. 선택 · 내부 동작의 코드·포털 대응표와 구현 패널은 필요한 경우에만 읽고 추가로 실행하지 않습니다. 특히 06의 ID 조회 명령은 제출 명령이 아니며, 08 Optimizer는 포털에서 수행합니다.

새 실습의 Agent는 lab-ko-iq 또는 lab-en-iq입니다. 환경 prefix를 바꾸었다면 명령이 출력한 실제 이름을 사용합니다. 모델 역할·신원을 확인하고 10의 정리 시간을 확보합니다.

v1·v2는 변경 불가능한 Agent 전체 구성 버전입니다. 모델·도구·추론·엄격한 출력 스키마는 같고 지침만 다릅니다. 개선을 만들려고 v1을 약화하지 않습니다. 검토한 v2를 한 번 만들어 같은 기준으로 재평가합니다.

영어·한국어 데이터와 Agent를 분리하고 각 언어의 실제 실행 결과를 독립적으로 비교합니다. 다른 언어의 결과를 번역하여 새 실행으로 표시하지 않습니다.

10단계의 실제 완료 기준을 확인합니다

단계	필수 동작	완료 근거
01 환경 확인	계정·구독·권한·Python 3.11–3.14·Git·Azure CLI를 확인합니다. 언어·기록 위치는 02에서 자동 설정합니다.	신원이 일치하고 세 도구의 버전 확인과 가상환경의 로컬 명령이 성공합니다.
02 환경 생성	`bootstrap setup`의 준비 검사·실제 승인 입력·생성 확인을 수행합니다.	APPLIED, 생성된 `.env`, 포털 배포와 런타임 preflight PASS를 확인합니다.
03 Agent 준비	모델·정책 검색을 확인하고 `native-agent` v1을 생성합니다.	실제 Agent의 JSON 응답과 도구 호출을 확인합니다.
04 데이터셋	변경 없는 세 열 JSONL을 등록하거나 재사용합니다.	12행 전체·등록 버전·SHA-256을 확인합니다.
05 평가기	Relevance 4·TaskAdherence 1과 자신의 Judge를 선택합니다.	제출 전 생성 화면의 설정과 query 전용 입력을 확인합니다.
06 기준선	고정 v1에 Microsoft Foundry 평가를 실행합니다.	완료된 실제 run ID와 전체 12건을 확인합니다.
07 분석	실제 답변·점수·이유·정책을 읽습니다.	실패를 포함한 구체적인 개선 가설을 기록합니다.
08 최적화	Instruction only로 실행하고 지침 diff를 검토합니다.	job/candidate ID·후보 파일·출처를 확인하거나 다른 후보가 없어 v1을 유지할 이유를 정리합니다.
09 재평가	검토한 후보가 있을 때 같은 조건의 v2를 실행하고 Compare runs를 엽니다.	전체 행 대응과 유지·채택·보류 이유를 기록합니다. 다른 후보가 없으면 10으로 이동합니다.
10 정리	결과와 소유권을 보관한 뒤 자신의 전용 자원을 정리합니다.	승인된 그룹 삭제의 부재 확인, 또는 보존 승인된 자원의 실제 목록·비용 책임·검토일을 기록합니다.

Individual turns / One time을 사용합니다. 처음 등록할 때는 Upload new dataset, 재개·재사용할 때는 Existing dataset을 선택합니다. 업로드 미리 보기가 5행이어도 실험은 12행입니다. 버전 선택으로 체크박스가 해제되면 다시 선택하고 대상 한 개를 확인합니다.

질문 → 실제 답변 → 평가 점수·이유 → 정책·참고 답변을 연결합니다. conversation_id → User view는 대화이며 평가 이유는 Detailed metrics result의 Relevance.reason·TaskAdherence.reason에서 확인합니다.

약한 사례와 잘한 사례를 하나 이상 분석합니다. 실패가 없다면 최저점 사례를 사용하며 실패를 관측하지 못했다고 설명합니다. v1을 약화하거나 어려운 행·참고 답변을 바꾸거나 로컬 점수로 대신하지 않습니다. 다른 참여자와 토론할 때도 자신의 실제 결과를 사용합니다.

선택한 실습의 합성 질문 12건, 실제 응답과 관리형 평가 이유를 별도 비공개 실행 기록으로 보관합니다. 실패 결과를 숨기지 않으며, 공유가 필요할 때는 토큰·쿠키·서명된 URL·비공개 계정 정보를 제외합니다.

개선 해석

Relevance 4/5는 정확도 80%가 아닙니다. TaskAdherence 1은 통과이지 5점 중 1점이 아닙니다. 지표별 점수·통과 건수, 전체 기준 통과, 오류·평가 범위를 구분합니다.

09의 필수 비교는 Microsoft Foundry에서 수행합니다. 선택 사항인 scripts/compare_foundry_eval.py도 전체 사례 대응, 데이터·모델·도구·설정 일치, 실제 행별 버전·지침, 통과 건수·평균의 비회귀와 하나 이상의 명확한 관측 개선을 요구합니다. 잘못된 JSON을 고쳐 통과로 바꾸지 않고 실패로 남깁니다.

범용 평가기가 통과시켜도 근거 없는 확신, 정책 계산 오류, 실행 완료 주장과 잘못된 분류를 직접 읽습니다. 불가능한 확답을 요구한다고 사실을 만들어내면 안 됩니다.

Optimizer 내부 순위는 후보 선택 근거이지 별도 관리형 재평가의 평균·통과율과 같은 값이 아닙니다. 순위 상승만으로 더 나은 v2가 입증되지 않습니다.

실험 조건을 바꾸지 않는 복구

증상	대응
다른 신원, 401/403	승인된 계정·프로젝트를 확인하고 공유 권한은 확대하지 않습니다.
카탈로그·배포 성공 후 Agent 실패	실제 API·런타임 오류를 남기고 해당 역할의 지원을 확인합니다.
포털 Add run item-schema 오류	기존 기준선 data source의 공식 SDK helper를 사용하며 다른 채점기로 대체하지 않습니다.
No custom evaluators available	Custom only OFF 또는 View built-in evaluators를 선택합니다.
로컬 receipt·같은 이름의 원격 run 존재	같은 run을 조회하고 이름 변경을 통한 중복 제출은 하지 않습니다.
후보가 모델·도구·추론·스키마 변경	지침만의 비교라고 주장하지 않습니다.
기존 v2와 소스 불일치	덮어쓰기·v3 생성 없이 원본을 보존하고 확인합니다.
결과·점수 누락	부분 실행으로 표시하고 분모를 줄이지 않습니다.
통계 비교 Inconclusive	그대로 보고하며 유의성·동등성을 주장하지 않습니다.

Relevance는 {{sample.output_text}}, TaskAdherence는 {{sample.output_items}}를 사용합니다. 서비스 생성 매핑을 덮어쓰거나 ground_truth를 Agent에 주입하지 않습니다. 오래된 로컬 기본값보다 원격 평가의 실제 Judge가 우선입니다.

시간 초과 시 어느 작업의 ID로 재개할지를 먼저 확인하고 문제 해결을 따릅니다. 삭제·재생성하거나 “성공할 때까지” 유료 호출을 반복하지 않습니다. 막힌 단계는 실제 완료로 체크하지 않습니다.

흔한 오해 바로잡기

주장	설명
“v2는 지침 파일 번호일 뿐입니다.”	Agent 전체 버전이며 이번에는 지침만 바꿉니다.
“새 모델 v2를 옛 모델 v1과 비교하면 됩니다.”	지침 효과를 비교하려면 두 버전의 모델이 같아야 합니다.
“실행 전에 반드시 개선된다고 보장합니다.”	실측 개선은 확인할 수 있지만 향후 확률적 결과는 보장하지 않습니다.
“성공한 행만 남깁니다.”	실패·오류·누락까지 전체 사례를 남겨야 합니다.
“스키마가 올바른 업무 판단을 인증합니다.”	구조를 제한할 뿐 정책 사실·분류까지 보장하지 않습니다.
“공개 근거에 쿠키·원본 로그가 필요합니다.”	합성 실응답·이유를 허용 필드로 공개하고 인증 정보는 제외합니다.

별도 실습 기록으로 마무리

실제 환경·run ID·비교 조건과 최종 판단을 자신의 비공개 기록에 보관합니다. 실행 결과나 검증 이력을 재사용 가이드에 덧붙이지 않으며 안내가 잘못된 경우에만 절차를 수정합니다.

동일 모델 비교 결과, 서비스 통계 검정, 지연·토큰 상충 관계와 합성 dev 재사용의 한계를 기록합니다. 실습의 채택 판단은 운영용 게시·활성화 승인이 아니며 운영용 게시는 이번 실습에 포함하지 않습니다.

마지막으로 10의 정리·보존 확인을 직접 수행합니다. 승인된 삭제의 완료 또는 보존 자원의 실제 목록·비용 책임·검토일을 확인합니다. Codespaces는 비공개 기록 백업 후 별도로 중지·삭제합니다. 소유권·재접속에 필요한 기록을 먼저 삭제하지 않습니다.