SOURCE SUMMARY
원문 핵심 요약
최종 답변만으로는 부족한 평가
성공 결과와 중간 행동을 연결
David Tepper는 AI 시스템의 유형에 따라 비용과 검증 방법을 구분해야 한다고 설명한다.
업무·파이프라인
정해진 단계에 AI가 들어간 구조는 호출 경로가 상대적으로 제한된다.
자율 에이전트
실행 중 도구·순서·재시도를 결정하므로 경로와 비용이 달라진다.
결과 기반 평가
성공·실패한 업무의 전체 추적 기록을 모아 행동과 결과를 연결한다.
원문에 명시된 범위와 사례 유형을 구분한 요약
확인할 근거와 맥락
실패의 비용
잘못된 결과가 환경을 바꾸면 검토시간 외에 복구·재작업 비용이 추가된다.
실무에 연결되는 원문 관점
기록
버전과 함께
프롬프트·모델·도구 정의와 실행 이력을 연결하고 평가 자료를 갱신한다.
측정
업무 단계
비용·지연·결과를 단계별로 수집해 사람 단독 방식과 비교한다.
부하
실제 혼합
실제 입력·출력·캐시·요청 패턴으로 용량을 시험한다.
성공의 정의와 측정 책임자를 확산 전에 정해야 한다.
APPLICATION PROPOSAL
별도의 적용 제안
변경 영향 분석의 실행 경로 검증
답변 뒤의 누락 원인을 찾기
제안 범위 · 과거 ECN의 읽기 전용 영향 분석
정답 표와 근거 관계를 전문가가 먼저 확정한다.
성공 정의
누락 없는 관련 BOM·재고·구매·공정 식별을 완료 조건으로 정한다.
추적 수집
어떤 버전의 자료를 읽고 어떤 관계를 건너뛰었는지 기록한다.
실패 대조
그럴듯한 최종 답변의 중간 누락을 찾아 비용·검토시간과 함께 비교한다.
효과와 품질을 함께 확인
업무 정확도
필수 영향 대상의 누락·잘못된 포함
실행 비용
검토·재시도 포함 건당 비용과 상위 구간
복구 부담
오답 발견·수정·재검증에 필요한 시간
근거·권한·승인 경계
쓰기 금지
품목·구매·생산 상태를 직접 변경하지 않는다.
자료 버전
모델·프롬프트·도구·원천 리비전을 고정한다.
독립 평가
최종 답변 점수만으로 합격 처리하지 않는다.
- 기준 사례
- 추적 수집
- 오류 분해
- 중단 기준 조정