ClaudeCode 바이브코딩 강의for CNLab
전체 강의Joohyung Chunv4.1.0

3. 고급

에이전트의 실행을 설계하고, 여러 작업과 실제 운영을 다룹니다.

53개 항목

에이전트 실행 설계

핵심 1 · 중요 12 · 참고 2
중요도키워드뜻이렇게 요청해 봅니다
핵심승인 게이트approval gate실행 흐름에서 사람이 허락해야 다음 단계로 넘어가는 지점입니다. 승인 상태 확인과 실행 차단 로직을 구현하고 시험합니다.

저장·전송 직전에 승인 게이트를 구현해 줘. 승인한 경우에만 다음 단계로 넘어가고 거절하면 저장·전송 없이 종료되는지 시험해 줘.

구현된 승인 단계에서 승인·거절 흐름을 시험합니다. 자연어 지시만으로 중단을 보장하지 않습니다.

중요하네스harness입력·도구·권한·승인·검증·기록을 조정하는 실행 장치 전체를 뜻합니다. 단일 제품 기능명이 아니며 실제 적용 범위를 시험합니다.

이 업무 에이전트의 하네스(입력·도구·승인·검증·기록)를 그림과 표로 설계해 줘.

입력·도구·승인·검증·기록의 설계와 시험 범위를 정리합니다.

중요에이전트 루프agent loop판단→도구 실행→결과 확인을 반복합니다.

판단 → 도구 실행 → 결과 확인 루프를 최대 10회로 제한하고 매회 무엇을 했는지 기록해 줘.

반복 횟수가 제한되고 회차별 기록이 남습니다.

중요도구 호출tool useAI가 도구를 쓰기로 결정하고 실행하는 일입니다.

허용할 도구를 파일 읽기와 검색으로 제한하는 실제 설정을 적용해 줘. 다른 도구와 하위 프로세스 접근 시험 결과도 보고해 줘.

설정한 도구 범위와 허용·차단 시험 결과를 확인합니다. 하위 프로세스 접근은 별도로 점검합니다.

중요검증 게이트verification gate결과가 기준을 통과해야 완료로 치는 지점입니다. 강의 설계 용어입니다.

검증에 실패하면 완료로 표시하지 말고 실패 상태와 이유를 기록해 줘.

검증 통과 전에는 완료 보고가 나오지 않습니다.

중요실행 예산budget자동 실행의 비용·횟수·시간 상한입니다. 실제 계측과 중단 장치를 구현하고 상한 도달 시 동작을 시험합니다.

비용 2달러·도구 호출 30회·10분 상한을 계측하고 중단하는 장치를 구현해 줘. 상한 도달 시험과 미계측 범위를 보고해 줘.

계측·중단 장치가 시험된 범위의 상한을 확인합니다. 계측 지연과 이미 진행 중인 호출 비용도 점검합니다.

중요작업 IDTask Identifier식별자(Identifier)의 줄임말인 ID를 작업마다 부여해 요청을 구별하는 값입니다. 재시도·재시작·중복 접수를 구분하는 기준이 됩니다.

요청마다 작업 ID를 붙이고, 같은 ID가 다시 오면 저장하지 말고 기존 결과를 돌려줘.

중복 요청이 두 번 저장되지 않습니다.

중요멱등성idempotency재실행해도 중복 효과가 늘지 않는 성질입니다.

이 저장 단계는 몇 번 다시 실행해도 결과가 하나만 남도록 멱등하게 만들어 줘.

재실행해도 중복이 생기지 않습니다.

중요재시도retry일시적 실패 뒤 같은 작업을 다시 시도하는 것입니다. 간격을 점점 늘리는 방식(지수 백오프)과 횟수 상한을 함께 정합니다.

연결 오류만 간격을 늘려 최대 3회 재시도해 줘. 다른 오류는 즉시 멈추고 최대 횟수 후에도 실패하면 현재 상태와 이유를 보고해 줘.

제한된 횟수에서 복구 여부를 확인합니다. 복구되지 않으면 실패 상태와 원인을 보고합니다.

중요작업 상태(상태 전이)task state작업이 지금 어느 단계인지 나타내는 값입니다. 상태를 저장해야 재시작·중복 방지가 됩니다.

접수·진행·승인 대기·완료·실패 상태를 파일에 기록하고 재시작 시 이어서 진행해 줘.

중단돼도 상태 파일에서 이어 갈 수 있습니다.

중요계획과 실행 분리plan/execute separation조회·계획 단계와 변경·실행 단계를 나누는 설계입니다. 강의 설계 용어입니다.

자료를 읽는 단계와 초안을 쓰는 단계를 분리하고, 쓰기 도구는 두 번째 단계에서만 써 줘.

읽기와 쓰기가 섞이지 않아 범위 밖 변경이 줄어듭니다.

중요시스템 프롬프트system promptAI에게 미리 주어지는 기본 지시입니다. /context의 System prompt에 해당합니다.

이 에이전트의 시스템 프롬프트에 '원본 수정 금지·근거 필수' 역할 규칙을 넣어 줘.

모든 대화에 앞서 적용되는 기본 지시가 정해집니다.

중요가드레일guardrail입력·출력·행동을 제한하는 장치들의 통칭입니다. 훅만을 뜻하지는 않습니다.

개인정보 패턴이 결과에 포함되면 출력을 보류하는 가드레일을 구현해 줘. 가상 자료로 차단·누락·오탐을 시험하고 미지원 경로도 보고해 줘.

시험한 경로의 출력 보류·누락·오탐 결과를 확인합니다. 모든 개인정보 검출을 보장하지는 않습니다.

참고입력 게이트웨이input gateway요청이 들어오는 창구(Slack·이메일·폼 등)입니다. 강의 설계 용어이며 연결 방법은 수업에서 정한 범위로 한정합니다.

Slack 채널 메시지를 입력으로 받아 작업 큐에 넣고, 처리 결과를 같은 스레드에 보고하게 해 줘.

Slack이 에이전트의 입력창이 되고 결과가 돌아옵니다.

참고에이전트 SDKAgent Software Development Kit소프트웨어 개발 도구 모음(Software Development Kit)의 줄임말인 SDK 중 코드로 에이전트를 만들 때 쓰는 라이브러리와 도구 모음입니다.

이 흐름을 에이전트 SDK 코드로 옮기면 어떤 구조가 되는지 개요만 설명해 줘.

에이전트 SDK의 코드 구조 개요를 설명합니다. 구현은 별도 범위로 구분합니다.

여러 작업·역할 분담

핵심 1 · 중요 9 · 참고 1
중요도키워드뜻이렇게 요청해 봅니다
핵심Git 워크트리git worktree같은 저장소의 다른 브랜치를 별도 폴더로 꺼내 쓰는 Git 기능입니다. 작업별 폴더 분리로 덮어쓰기 위험을 줄이고 병합 충돌·공유 자원 경합은 별도 점검합니다.

두 기능을 각각 별도 워크트리에서 작업해 같은 파일을 동시에 고치는 충돌을 피해 줘.

작업 폴더를 분리해 파일 덮어쓰기 위험을 줄입니다. 병합 충돌과 공유 자원 경합은 따로 점검합니다.

중요오케스트레이션orchestration담당·순서·상태·결과 통합을 조정하는 일입니다.

정리 담당·검산 담당·통합 담당의 순서와 넘길 자료를 정해 오케스트레이션 계획을 써 줘.

담당·순서·상태·통합 기준이 정해집니다.

중요멀티 에이전트multi-agent여러 에이전트를 역할별로 조정하며, 순차·병렬 진행이 모두 가능합니다.

이 일을 멀티 에이전트로 나눌 때와 하나로 할 때의 비용·속도·위험을 비교해 줘.

나눌 필요가 있는지 판단 근거가 나옵니다.

중요역할 분리role separationPM·디자인·개발·DB의 역할을 나누는 일입니다. AI 시대에 단계가 생략되더라도 기록은 남깁니다.

작성 역할과 검토 역할을 분리하고 검토자는 작성자의 결과를 보지 않은 상태에서 시작하게 해 줘.

작성·검토가 독립되어 편향이 줄어듭니다.

중요독립 검증independent verification같은 답을 다른 방법·다른 담당으로 다시 확인하는 것입니다. 강의 설계 용어입니다.

검산은 처음과 다른 방법(다른 코드·다른 에이전트)으로 독립 검증하고 두 결과를 비교해 줘.

두 경로의 결과 일치 여부가 나옵니다.

중요레드팀red team계획의 약점을 일부러 공격해 검증하는 일입니다.

이 계획을 레드팀 관점에서 공격해 실패할 지점 5개와 대비책을 적어 줘.

약점 목록과 대비책이 나옵니다.

중요병렬 작업parallel work서로 독립된 기능을 여러 터미널에서 동시에 작업합니다.

서로 독립된 검색 기능과 보고서 형식은 병렬로 진행하고, 의존이 있는 것은 순서대로 해 줘.

독립 작업은 동시에, 의존 작업은 순서대로 진행됩니다.

중요의존 관계dependency (tasks)어떤 작업이 다른 작업의 결과를 필요로 하는지 나타내며, 서로 독립된 작업끼리 병렬로 진행합니다.

작업 목록에서 서로 의존하는 항목을 표시하고 독립된 것만 병렬 후보로 골라 줘.

선후 관계가 드러나 병렬 범위가 정해집니다.

중요통합 검사integration check여러 작업을 합친 뒤 전체가 동작하는지 확인하는 순서입니다.

병합 후 정리 → 코드 리뷰 → 전체 테스트 → 커밋 순서로 통합 검사를 실행해 줘.

병합 후 실행한 통합 검사 범위에서 동작을 확인하고 미검사 영역을 구분합니다.

중요동시성 제어·잠금concurrency control / locking여러 작업이 같은 자료를 동시에 바꿀 때 충돌·갱신 유실을 조정하는 장치입니다. 잠금 범위·해제·실패 복구를 함께 정합니다.

같은 자료를 두 작업이 동시에 갱신할 때 유실되지 않게 잠금 범위와 충돌 처리를 설계해 줘. 동시 실행과 비정상 종료 후 복구를 시험해 줘.

동시 갱신 충돌과 잠금 해제·실패 복구를 시험한 결과를 확인합니다.

참고모델 라우팅model routing작업에 맞는 모델을 선택하는 운영 방식입니다.

단순 정리는 저렴한 모델, 설계 검토는 상위 모델로 라우팅하는 기준을 표로 정해 줘.

작업별 모델 배치 기준이 나옵니다.

운영·배포

핵심 2 · 중요 5 · 참고 1
중요도키워드뜻이렇게 요청해 봅니다
핵심롤백rollback배포를 이전 판으로 되돌리는 일입니다.

배포 후 문제가 생기면 바로 이전 버전으로 롤백하는 절차를 미리 준비해 줘.

되돌리는 명령·순서가 문서로 준비됩니다.

핵심인계 문서(온보딩)handover / onboarding doc다음 담당에게 작업·맥락을 넘기는 핸드오프 문서입니다. 실행·복구 방법, 결정, 남은 일과 미확인 범위를 기록합니다.

다음 담당이 첫날에 실행·복구할 수 있게 현재 상태·결정·남은 일을 handoff.md로 정리해 줘. 미확인 항목과 모의 실행 항목을 구분해 줘.

현재 상태·결정·남은 일과 실행·복구 방법이 담긴 인계 문서를 확인합니다.

중요자동 배포(CI/CD)Continuous Integration / Continuous Delivery / Continuous Deployment지속적 통합·지속적 전달·지속적 배포(Continuous Integration / Continuous Delivery / Continuous Deployment)의 줄임말로, CI는 통합 검사를 자동화하고, CD는 배포 가능한 상태로 준비하거나 실제 배포까지 자동화하는 방식입니다. CD의 두 의미는 구분하며 모든 커밋이 자동 공개되는 것은 아닙니다.

PR이 열리면 테스트가 자동 실행되고, main 병합 시에만 배포되게 CI/CD를 설정해 줘.

검사·배포가 자동화됩니다.

중요버전 번호semverv1.2.3처럼 큰 변화·기능 추가·수정을 나타내는 번호입니다.

이번 변경은 기능 추가이므로 버전을 1.2.0으로 올리고 변경 이력을 갱신해 줘.

버전과 변경 기록이 함께 갱신됩니다.

중요감사 로그audit log누가 언제 무엇을 했는지 남기는 기록입니다.

누가 언제 어떤 작업을 했는지 감사 로그로 남겨 줘. 허용 필드·마스킹·보존 기간과 변경 권한을 정하고 시험해 줘.

허용된 범위에서 작업 이력을 확인하고 로그의 민감값 노출·보존·변경 권한을 점검합니다.

중요모니터링monitoring서비스 상태를 지켜보는 일입니다.

예약 작업이 실패하거나 3일 연속 결과가 0건이면 알림을 보내는 모니터링을 추가해 줘.

이상 상태가 알림으로 전달됩니다.

중요트랜잭션·원자성transaction / atomicity여러 변경을 하나의 작업 단위로 묶어 전부 반영하거나 전부 취소하는 성질과 절차입니다. 중복 저장 방지는 고유 키·멱등성도 함께 설계합니다.

여러 표 저장을 하나의 트랜잭션으로 묶어 줘. 중간 실패 시 전부 롤백되는지 시험하고 중복 저장은 고유 키와 멱등성으로 따로 막아 줘.

중간 실패 시 부분 반영이 남는지 확인하고 중복 방지 장치도 별도로 시험합니다.

참고회고retrospective작업을 끝낸 뒤 유지하거나 제거할 것을 정리하는 일입니다. 절차 점검표로 남깁니다.

이번 자동화에서 유지할 것·없앨 것·바꿀 것을 회고 표로 정리해 줘.

다음 개선 항목이 정해집니다.

보안·권한

중요 6 · 참고 1
중요도키워드뜻이렇게 요청해 봅니다
중요승인 우회(bypass)bypass permissions일부 승인 질문을 건너뛰는 권한 모드입니다. 모든 거부 규칙·예외까지 없어지는 것은 아니며 현재 적용 범위를 확인합니다.

승인 우회 모드는 사용하지 않고 안전한 명령만 선별 허용하도록 설정해 줘. 적용되는 거부 규칙과 예외를 함께 확인해 줘.

선별 허용과 남아 있는 거부 규칙·예외를 확인합니다.

중요과도한 자율성excessive agency필요 이상의 도구·권한·자동 실행을 부여한 상태입니다.

이 자동화가 가진 도구·권한 중 꼭 필요하지 않은 것을 찾아 줄이는 안을 제시해 줘.

불필요한 권한 목록과 축소안이 나옵니다.

중요공급망 위험supply chain risk설치한 패키지·플러그인·모델에서 들어오는 위험입니다.

설치할 패키지·플러그인의 출처·최근 갱신·권한을 확인하고 위험을 표로 보고해 줘.

설치 전 위험 평가가 나옵니다.

중요시크릿 관리secrets management키를 코드·채팅 밖에서 보관하고 교체하는 체계입니다.

키를 코드 밖 비밀 저장소로 옮기고 교체 절차를 문서로 적어 줘.

키 보관·교체 체계가 정리됩니다.

중요OAuthOpen Authorization개방형 권한 부여(Open Authorization)의 줄임말로, 다른 서비스에 비밀번호를 넘기지 않고 제한된 접근 권한을 위임하는 규약입니다. 소셜 로그인에는 그 위에 인증을 더한 로그인 규약 등이 쓰입니다.

MCP 연결은 비밀번호 대신 OAuth로 인증하고 허용한 범위(scope)를 보여 줘.

권한 동의 방식으로 연결되고 범위가 표시됩니다.

중요라이선스license이름·로고·코드를 사용할 권리입니다. 외부 스킬도 라이선스를 확인해야 합니다.

이 외부 스킬·패키지의 라이선스가 업무 사용과 재배포에 허용되는지 확인해 줘.

사용 가능 여부가 정리됩니다.

참고CORSCross-Origin Resource Sharing교차 출처 리소스 공유(Cross-Origin Resource Sharing)의 줄임말로, 서버가 다른 출처에서 실행되는 브라우저 코드의 응답 읽기를 허용하는 규칙입니다.

브라우저 CORS 오류의 원인을 확인해 줘. 필요한 출처만 허용하고 전체 허용(*)은 사용하지 않게 해 줘.

설정한 출처의 브라우저 요청을 시험하고 오류 해결 여부를 확인합니다.

평가·AI 내부(참고)

핵심 1 · 중요 5 · 참고 3
중요도키워드뜻이렇게 요청해 봅니다
핵심평가(eval)evaluationAI 결과를 기준표로 자동 채점하는 일입니다.

정답표 10건으로 결과를 자동 채점하는 평가를 만들고 통과율을 보고해 줘.

기준표 대비 점수가 나옵니다.

중요평가 세트eval set결과를 검증하기 위해 모은 입력·정답·기준입니다.

입력·정답·기준을 묶은 평가 세트 10건을 만들어 다음 변경 때마다 재실행하게 해 줘.

품질을 반복해서 잴 수 있는 자료가 생깁니다.

중요루브릭rubric항목별 합격·점수 기준표입니다.

출처 있음·누락 없음·형식 준수 세 항목의 루브릭으로 채점해 줘.

항목별 점수 기준표가 적용됩니다.

중요LLM 판정자Large Language Model as a Judge대규모 언어 모델(Large Language Model)의 줄임말인 LLM이 다른 AI의 결과를 채점하는 방식입니다. 사람의 검수를 대체하지는 않습니다.

LLM 판정자로 1차 채점하되 불일치 항목은 사람 검토 대상으로 표시해 줘.

자동 채점과 사람 검토 대상이 구분됩니다.

중요사람 검토human review사람이 근거·결과·영향을 직접 확인하는 검토 방식입니다.

자동 판정이 '불확실'인 항목만 모아 사람 검토 목록을 만들어 줘.

사람이 봐야 할 항목이 추려집니다.

중요RAGRetrieval-Augmented Generation검색 증강 생성(Retrieval-Augmented Generation)의 줄임말로, 자료를 먼저 찾아 넣고 답하게 하는 방식입니다. 자료가 많을 때 롱 컨텍스트로 통째로 넣는 방식과 비교해 선택합니다.

문서 100건을 RAG로 검색해 답하는 방식과 통째로 넣는 방식을 비용·정확도로 비교하고 3건으로 먼저 시험해 줘.

두 방식 비교와 소규모 시험 결과가 나옵니다.

참고임베딩embedding글을 숫자 벡터로 바꾼 표현입니다. 의미 검색의 재료로 쓰입니다.

공개 기사 요약을 임베딩해 의미가 비슷한 기사끼리 묶어 보여 줘.

의미 기반 군집 결과가 나옵니다.

참고프롬프트 캐싱prompt caching같은 입력 부분의 계산을 재사용해 지연과 비용을 줄이는 기능입니다.

현재 API가 프롬프트 캐싱을 지원하는지 확인해 줘. 반복 열 정의 입력 구조를 정하고 실제 캐시 적중량과 비용을 비교해 줘.

지원 조건과 실제 캐시 적중·비용을 확인합니다. 요청 구조 고정만으로 비용 절감을 보장하지 않습니다.

참고모델 버전 확인model version모델의 사양과 출시판을 나타내는 정보입니다. 당일 확인해야 하는 대상입니다.

지금 쓰는 모델 이름과 버전을 결과 파일 머리말에 기록해 줘.

재현에 필요한 모델 정보가 남습니다.

팀·책임 있는 사용

중요 2 · 참고 1
중요도키워드뜻이렇게 요청해 봅니다
중요단일 기준 원본(SSOT)Single Source of Truth단일 기준 원본(Single Source of Truth)의 줄임말로, 열 정의 문서·spec.md처럼 기준을 한 곳에 두고 다른 문서는 이를 참조하는 원칙입니다.

열 정의 문서를 단일 기준 원본으로 삼고 다른 문서는 이 문서를 참조만 하게 해 줘.

기준이 한곳에 모여 어긋남이 줄어듭니다.

중요AI 사용 고지Artificial Intelligence Use Disclosure인공지능(Artificial Intelligence)의 줄임말인 AI를 보고서·웹페이지 작성에 사용한 범위를 적는 일입니다.

이 보고서에서 AI를 어디에 어떻게 썼는지 고지 문단을 작성해 줘.

AI 사용 범위가 투명하게 기록됩니다.

참고비식별 공개 데이터de-identified public data공개되어 있어도 이용 조건·재식별 위험·기관 정책을 확인해야 하는 자료입니다.

이 공개 데이터의 이용 조건과 재식별 위험을 확인하고 사용 가능 여부를 정리해 줘.

이용 조건·위험 정리가 나옵니다.

목적별 요청 방법

9가지

업무 에이전트 설계하기

언제 · 회의 정리·자료 조회처럼 반복 업무를 통째로 맡길 때 사용합니다.

회의 메모에서 할 일을 뽑는 에이전트를 설계해 줘. 저장 전 승인 게이트·검증 실패 시 미완료 처리·작업 ID 기록을 포함해 줘.

입력·도구·승인·검증·기록을 표로 정리한 하네스 설계안을 먼저 보여 줘. 승인·거절·검증 실패 경로의 시험 계획도 적어 줘.

→ 설계 표와 경로별 시험 계획을 확인하고 승인 뒤 구현합니다.

확인할 점

  • 구현 뒤 승인 거절 시 저장이 없는지와 검증 실패가 완료로 표시되지 않는지 실제로 시험합니다.

관련 키워드 하네스 · 승인 게이트 · 검증 게이트 · 작업 ID · 작업 상태(상태 전이) · 계획과 실행 분리

재실행해도 안전하게 만들기

언제 · 같은 요청이 두 번 오거나 중간에 끊길 때 사용합니다.

같은 작업 ID가 다시 와도 결과를 한 번만 저장하도록 고유 키와 멱등 처리를 구현하고 시험해 줘.

연결 오류만 간격을 늘려 최대 3회 재시도해 줘. 다른 오류는 즉시 멈추고 최대 횟수 후에도 실패하면 현재 상태와 이유를 보고해 줘.

→ 중복 저장 방지 시험과 재시도 결과를 확인합니다. 상한 후 복구되지 않으면 실패로 보고합니다.

확인할 점

  • 동일 입력 재실행·중간 실패·동시 요청을 시험하고 재시도 횟수와 최종 상태를 확인합니다.

관련 키워드 작업 ID · 멱등성 · 재시도 · 작업 상태(상태 전이) · 실행 예산 · 트랜잭션·원자성 · 동시성 제어·잠금

역할을 나눠 검토하기

언제 · 한 번에 맡기기엔 크거나 검산이 중요한 일에 사용합니다.

정리 담당과 검산 담당 서브에이전트를 나누고, 검산은 다른 방법으로 독립 검증해 두 결과를 비교해 줘.

이 계획을 레드팀 관점에서 공격해 실패 지점 5개를 적어 줘.

→ 역할별 결과와 비교·약점 목록이 나옵니다.

확인할 점

  • 검토자가 작성자의 결과를 미리 보지 않았는지, 입력 버전이 같은지 등을 확인합니다.

관련 키워드 서브에이전트 · 역할 분리 · 독립 검증 · 오케스트레이션 · 레드팀

여러 작업을 동시에 진행하고 합치기

언제 · 독립된 기능 둘 이상을 병행할 때 사용합니다.

검색 기능과 보고서 형식을 별도 워크트리에서 작업해 줘.

병합 뒤 정리 → 코드 리뷰 → 전체 테스트 → 커밋 순서로 통합 검사를 실행해 줘.

→ 폴더 분리로 충돌 위험을 줄이고 병합 후 시험한 범위의 동작을 확인합니다. 미검증 범위는 구분합니다.

확인할 점

  • 의존이 있는 작업을 병렬로 돌리지 않았는지 확인합니다.

관련 키워드 Git 워크트리 · 병렬 작업 · 의존 관계 · 병합(머지) · 통합 검사

배포하고 되돌릴 준비하기

언제 · 다른 사람이 쓰는 환경에 올릴 때 사용합니다.

스테이징에 먼저 배포해 확인한 뒤 프로덕션에 올리고, 이전 버전으로 롤백하는 절차를 함께 준비해 줘.

PR이 열리면 테스트가 자동 실행되게 CI/CD를 설정해 줘.

→ 단계별 배포와 롤백 절차·자동 검사가 갖춰집니다.

확인할 점

  • 롤백을 실제로 한 번 해 봤는지, 버전 번호·변경 이력이 갱신됐는지 확인합니다.

관련 키워드 개발·스테이징·프로덕션 · 배포 · 롤백 · 자동 배포(CI/CD) · 버전 번호

권한과 비용에 상한 두기

언제 · 자동화가 사람 없이 돌 때 사용합니다.

읽기는 필요한 경로에 허용하고 쓰기만 output/으로 제한해 줘. 도구·셸 경로별 허용·차단 시험을 하고 적용하지 못한 범위도 보고해 줘.

비용 2달러·도구 호출 30회 상한을 계측하고 중단하는 장치를 구현해 줘. 상한 도달 시험 결과와 미계측·진행 중 호출 비용을 보고해 줘.

→ 실제 권한 설정과 계측·중단 장치를 시험한 범위에서 최소 권한·상한을 확인합니다.

확인할 점

  • 도구·셸 경로별 허용·차단과 상한 도달 중단을 시험합니다.
  • 자연어만으로 차단·예산 준수를 보장하지 않습니다.

관련 키워드 권한 최소화 · 실행 예산 · 승인 우회(bypass) · 과도한 자율성 · 도구 호출

평가 세트로 품질 재기

언제 · 규칙·스킬·모델을 바꾼 뒤 사용합니다.

정답표 10건으로 평가 세트를 만들고 루브릭으로 채점한 뒤 통과율을 보고해 줘.

LLM 판정이 불확실한 항목은 사람 검토 목록으로 따로 모아 줘.

→ 통과율과 사람이 봐야 할 항목이 나옵니다.

확인할 점

  • 평가 세트가 학습·규칙 작성에 쓰인 자료와 겹치지 않는지 확인합니다.

관련 키워드 평가(eval) · 평가 세트 · 루브릭 · LLM 판정자 · 사람 검토

다른 사람에게 인계하기

언제 · 업무를 다른 구성원이 실행·복구해야 할 때 사용합니다.

다른 사람이 첫날에 혼자 실행·복구할 수 있는 인계 문서를 써 줘. 미확인 항목과 모의 실행 항목을 구분해 줘.

이 보고서에서 AI를 어디에 어떻게 썼는지 고지 문단을 추가해 줘.

→ 실행·복구 방법·미확인 목록·AI 사용 고지가 담긴 문서가 생깁니다.

확인할 점

  • 문서만 보고 새 입력으로 한 번 더 실행되는지 확인합니다.

관련 키워드 인계 문서(온보딩) · 감사 로그 · 모니터링 · AI 사용 고지 · 단일 기준 원본(SSOT)

많은 문서를 다루는 방식 고르기

언제 · 문서 100건 요약·질의 요청이 들어올 때 사용합니다.

문서 100건을 RAG로 다룰지 통째로 넣을지 비용·정확도로 비교하고, 3건으로 먼저 시험해 줘.

외부 전송이 안 되는 자료는 로컬 LLM 안을 함께 비교해 줘.

→ 방식 비교와 소규모 시험 결과가 나옵니다.

확인할 점

  • 3편 결과에 출처·누락 표시가 있는지, 비용 추산이 있는지 확인합니다.

관련 키워드 RAG · 임베딩 · 프롬프트 캐싱 · 토큰 비용 · 로컬 LLM