SOURCE SUMMARY
원문 핵심 요약
고객지원 AI의 설계·평가·운영 학습
실제 예외를 시험으로 환류
KPN은 익명화한 상담 기록으로 요구를 파악하고 가치·개발 복잡성·사람 개입 필요성을 함께 평가했다.
연계 구조
대화·에이전트 조정·플랫폼을 연결하고 핵심 시스템에 표준 API와 MCP로 접근했다.
품질 검증
사람의 시험과 자동 점검으로 성능·일관성·안전을 평가했다.
운영 학습
실제 대화의 예외 표현을 검토해 프롬프트와 운영 절차를 개선했다.
원문에 명시된 범위와 사례 유형을 구분한 요약
확인할 근거와 맥락
목표 구분
2027년 상담의 10~20%를 AI가 처리한다는 수치는 목표이며 현재 달성률이 아니다.
실무에 연결되는 원문 관점
맥락 유지
업무 이관
여러 에이전트 사이의 라우팅·인계·맥락을 관리했다.
행동 경계
기록과 통제
종단 로그·추적·평가와 가드레일로 행동을 관찰했다.
현장 참여
검증에 참여
직원이 개발·시험에 참여하고 역할 변화에 맞춰 교육했다.
재사용 가능한 구성요소와 내부 개발 역량을 함께 축적했다.
APPLICATION PROPOSAL
별도의 적용 제안
현장 문서 지원 AI의 품질 회귀시험
실제 질문을 검증 사례로 전환
제안 범위 · 설비 매뉴얼 조회 보조 하나
읽기 전용 환경에서 승인된 문서만 사용한다.
질문 수집
현장 질문의 표현·예외·관련 설비와 리비전을 정리한다.
검증 구성
정상 질문뿐 아니라 잘못된 품번·구도면·권한 밖 질문을 시험한다.
변경 환류
프롬프트·검색·도구 변경마다 과거 오류와 정상 사례를 다시 점검한다.
효과와 품질을 함께 확인
근거 정확도
올바른 문서·리비전·페이지 연결 비율
안전 경계
권한 밖 응답·미확인 작업 지시 발생
회귀 품질
수정 후 기존 정상 사례가 실패한 비율
근거·권한·승인 경계
작업 지시 분리
문서 답변은 설비 조작·정비 승인으로 간주하지 않는다.
버전 고정
모델·프롬프트·검색 자료·도구 버전을 기록한다.
배포 승인
사람의 검토와 롤백 준비 후 변경을 적용한다.
- 질문 정리
- 평가셋 구성
- 병렬 시험
- 변경 회귀검증