AI 전략·가치데이터·지식관리AI 에이전트·업무흐름

AI 작업 비용과 입력 맥락의 설계

CIO · 원문 발행 2026-09-29

칼럼 | 우버의 AI 예산은 왜 바닥났나···사용량 통제로는 풀 수 없는 문제

자료 분류: AI 전략·가치 · 데이터·지식관리 · AI 에이전트·업무흐름

공식 원문 보기

SOURCE SUMMARY

원문 핵심 요약

에이전트 비용 설계 칼럼 요약

한 번의 완료에 드는 비용 보기

필자는 사용량 제한과 함께 입력 구성·검색 설계를 개선해 작업 단위 비용을 파악하자고 주장한다.

입력의 누적

대화 전체를 반복 전송하는 구조에서는 진행 단계와 함께 처리할 기록이 쌓인다.

문맥의 선별

검색 범위 제한·결과 재정렬·의미 단위 분할·중복 제거를 제안한다.

성과와 연결

사용자 수나 토큰 단가보다 검증을 마친 업무 한 건의 비용을 보고하자는 주장이다.

원문에서 확인한 핵심 구조

원문의 실행 포인트

캐시의 조건

반복되는 앞부분을 안정적으로 구성하고 실제 재사용률을 측정하라고 권한다.

긴 입력의 한계

인용 논문은 특정 과제·모델에서 정보 위치와 입력 길이에 따른 성능 저하를 관찰했다.

원문이 제시하는 실행 원리

범위의 예외

전체 맥락이 필요한 일

문서나 코드 전반의 관계를 다루는 작업은 긴 입력이 필요할 수 있다.

측정의 목적

가치와 낭비를 구별

고비용 작업을 일괄 억제하기보다 완료 성과와 비교하자는 논지다.

예산 통제와 입력 설계를 함께 보되 완료한 업무의 품질과 비용을 연결해 평가한다.

APPLICATION PROPOSAL

별도의 적용 제안

같은 질문의 품질·비용 함께 비교

승인 자료 기반 검색 보조 시범

우리의 제안 · 동일 질문·모델·검토 기준 사용

운영 반영 전 읽기 전용·분리 환경으로 검증

완료 정의

정답 근거와 사람 검토를 포함한 완료 조건을 고정한다.

입력 비교

현재 방식과 범위 필터·중복 제거 방식을 비교한다.

비용 기록

모든 호출·재시도·검토 시간을 업무 한 건으로 묶는다.

효과 판단

근거 누락 없이 줄어든 비용만 개선으로 본다.

기준선과 비교할 검증 지표

완료 비용

호출·재시도·검토의 합계

답변 품질

필수 근거 포함·오류 비중

입력 효율

중복 문맥과 캐시 재사용

적용 전에 고정할 통제

예산 통제

기존 사용 한도와 승인 기준 유지

공정 비교

동일 자료·난이도·완료 기준

내용 보존

필수 맥락을 비용 절감 때문에 생략하지 않음

  1. 범위·기준선 정의
  2. 데이터·근거 연결
  3. 병행 시범·오류 기록
  4. 사람 승인 후 확대