SOURCE SUMMARY
원문 핵심 요약
동일 저자의 공개 README 전체 · 구현 튜토리얼
모델을 역할 안에서 비교
라우팅·종합·평가의 역할을 나눠 품질·비용·지연을 함께 살피는 구성이다.
문서 탐색
큰 구간에서 세부 문단으로 좁히고 인용을 붙여 답변한다.
다중 에이전트
후보 생성·선별 뒤 비평·안전 검토와 사람 승인을 둔다.
시각 문서
OCR의 모호성을 보존한 뒤 도구 기반 보정과 품질 평가를 수행한다.
공개 README가 설명하는 세 가지 예시
함께 측정하는 항목
품질과 운영
근거 충실성·관련성·비용·지연을 단계별로 기록한다.
예시가 드러내는 경계
AI 평가의 범위
점수와 확인된 사실 구분
판정 모델이 답변·검색·추론 결과를 점검하는 방식을 제시한다.
사람의 검토
자동 보정에도 불확실성
주소 추정처럼 근거가 약한 보정 항목은 사람 검토 대상으로 표시한다.
역할별 모델 선택과 평가 절차를 설명하는 교육용 자료다.
APPLICATION PROPOSAL
별도의 적용 제안
우리의 제안: 업무별 모델 평가표 시범
승인된 설계 문서 한 유형에서 역할별 비교
비운영 표본으로 검색·요약·표 추출만 비교
승인된 비민감 사본과 고정 질문 세트 사용
역할과 정답 정의
검색·요약·OCR에 필요한 출력과 근거 기준을 담당자가 정한다.
같은 조건 비교
허용 모델에 동일 자료·질문을 적용하고 버전·설정을 기록한다.
전문가 대조
인용 정확성·누락·추정 보정을 독립 정답과 대조한다.
선택안 검토
품질과 총비용을 함께 비교해 담당자가 확대 여부를 결정한다.
시범에서 확인할 지표
근거 일치율
인용된 핵심 주장 중 원문이 직접 뒷받침하는 비율
필드 정확도
검수 정답과 일치한 추출 필드 수 / 평가 필드 수
총 검토 시간
응답 대기와 사람이 확인·수정한 시간을 합산
완료 건당 비용
재시도·평가 호출을 포함한 비용 / 검수 통과 건수
기존 체계와 승인 유지
기준 정보 유지
기존 Teamcenter·PDM·ERP와 확립된 M-BOM 기준을 그대로 존중
사람의 승인
모델 점수로 설계변경·출도·생산지시를 자동 승인하지 않음
자료 사용 경계
사전 승인된 비민감 자료만 사용하고 외부 전송 범위를 확인
보류와 추적
근거 부족·모호한 값은 보류하고 모델·출처·수정 이력을 보존
- 표본·정답 합의
- 역할별 제한 비교
- 전문가 오류 검토
- 승인 후 확대 판단