데이터·지식관리AI 모델·평가사이버보안

문서 구조와 검색 평가의 연결

Uber Engineering · 원문 발행 2025-05-29

Enhanced Agentic-RAG: What If Chatbots Could Deliver Near-Human Precision?

자료 분류: 데이터·지식관리 · AI 모델·평가 · 사이버보안

공식 원문 보기

SOURCE SUMMARY

원문 핵심 요약

100%텍스트로 읽기

확대 후 그림 안에서 좌우·위아래로 이동할 수 있습니다.

답변 생성 흐름; 질문 구체화: ; 문서 범위: ; 혼합 검색: ; 문맥 정리: ; 답변 생성:
원문 사실 재구성 · 당시 순차 구현 · Uber Engineering / Enhanced Agentic-RAG: What If Chatbots Could Deliver Near-Human Precision? · Agentic RAG Answer Generation · L82–87 · 확인 2026-10-01 · 원문 자료

Uber 보안·프라이버시 질의 사례

문서 구조에서 답변 평가까지

Uber는 사내 보안·프라이버시 질의 지원에서 문서 처리·검색·평가를 함께 개선한 자체 사례를 설명한다.

구조 보존

표의 행·열 문맥과 식별 정보를 유지하고 요약·질문·키워드를 검색 자료에 보강했다.

검색 범위

질문을 구체화하고 관련 정책 문서를 먼저 좁힌 뒤 의미 검색과 키워드 검색 결과를 합쳤다.

문맥 정리

중복 조각을 제거하고 원문 순서로 정리한 문맥을 최종 답변에 제공했다.

원문에서 확인한 핵심 구조

원문의 실행 포인트

사례 결과

해당 시험에서 수용 가능한 답변 비율이 상대적으로 27% 늘고 잘못된 조언은 60% 줄었다고 보고한다.

평가 기준

전문가의 답변·피드백을 기준으로 모델 평가를 구성했다. 모델 판정은 전문가 기준과 연결된다.

원문이 제시하는 실행 원리

권한과 자료

접근 제어

문서 접근 권한 정보를 답변 생성에 활용하는 구조를 설명한다.

후속 구상

현재와 계획 구분

당시 구현은 순차 흐름이다. 반복 검색·자기 검토·이미지 처리는 후속 확장 구상이다.

질문·문서 구조·검색 범위·평가 기준을 함께 다루는 것이 이 사례의 개선 방식이다.

APPLICATION PROPOSAL

별도의 적용 제안

100%텍스트로 읽기

확대 후 그림 안에서 좌우·위아래로 이동할 수 있습니다.

설계변경 검색 비교; 기준 질문: 담당자가 변경 영향 질문과 기대 근거를 정한다.; 문맥 보존: 승인 자료의 표 머리글·행·열·판본을 유지한다.; 검색 대조: 현재 검색과 한정된 혼합 검색 결과를 비교한다.; 사람 평가: 근거 누락·잘못된 적용·미확인을 검토한다.
별도의 적용 제안 · 기존 검토·승인 유지 · 별도의 적용 제안

설계변경 근거 검색의 한정 비교

표 문맥·판본·답변 근거 확인

우리의 제안 · 기존 Teamcenter·PDM·ERP 기준 자료 활용

운영 반영 전 읽기 전용·분리 환경으로 검증

기준 질문

담당자가 변경 영향 질문과 기대 근거를 정한다.

문맥 보존

승인 자료의 표 머리글·행·열·판본을 유지한다.

검색 대조

현재 검색과 한정된 혼합 검색 결과를 비교한다.

사람 평가

근거 누락·잘못된 적용·미확인을 검토한다.

기준선과 비교할 검증 지표

근거 적합

질문에 맞는 문서와 판본 회수

답변 수용

전문가 기준에 맞는 답변

오류 유형

잘못된 조언·누락·권한 오류

적용 전에 고정할 통제

정합성 보존

확립된 M-BOM 생산 정합성을 기준으로 사용

원장 보호

자료 이전·원장 수정·자동 승인 없음

권한 준수

허용된 문서 범위 안에서만 읽기 검토

  1. 범위·기준선 정의
  2. 데이터·근거 연결
  3. 병행 시범·오류 기록
  4. 사람 승인 후 확대