소프트웨어 개발·IT 운영AI 에이전트·업무흐름AI 모델·평가

AI 판단과 워크플로 실행의 분리

Retool Community · 원문 발행 2025-07-14

AI Build Week – Day 4: Smarter Automation with AI

자료 분류: 소프트웨어 개발·IT 운영 · AI 에이전트·업무흐름 · AI 모델·평가

공식 원문 보기

SOURCE SUMMARY

원문 핵심 요약

Retool 공식 행사 후속 Q&A · 2025-07-14

AI 판단과 실행 규칙을 나누기

소셜 게시물을 모델이 평가하고 별도 코드가 기준에 따라 거르는 워크플로 사례를 설명한다.

정해진 흐름과 탐색

경로가 일정한 작업에는 워크플로, 다음 도구나 질문을 골라야 하는 작업에는 에이전트를 제안한다.

평가와 기준 분리

예제는 게시물을 1~10점으로 평가한 뒤 별도 코드에서 4점 미만을 제외한다.

출력 확인

JSON 출력 지시만으로 형식이 보장되지 않아 파싱·검증 단계를 함께 설명한다.

Bluesky 게시물 분석과 Slack 전송을 다룬 실습 Q&A

원문에서 덧붙인 내용

중복 처리 방지

최근 성공 실행의 시각을 저장하고 이후 게시물만 가져오는 방식을 제시한다.

실행 충돌 관리

동시 실행 수를 제한하고 실행 이력의 입출력으로 오류를 확인한다.

실무 관점과 자료의 범위

일괄 처리의 한계

예제 조건

4~5개 게시물의 묶음 처리가 일관되지 않으면 개별 처리로 돌아가라고 설명한다.

승인의 당시 제약

2025년 행사 답변

중간에 멈추고 사람의 승인을 기다리는 기능은 당시 미지원이라고 명시한다.

원문에 나타난 흐름

  1. 새 게시물 조회
  2. 모델 평가
  3. 코드로 기준 적용
  4. 결과 처리·상태 기록

APPLICATION PROPOSAL

별도의 적용 제안

AI 선별 결과를 검토하는 제한 시범

승인된 공개 자료 목록에서 검토 후보만 추천

우리의 제안 · 운영과 분리된 제한 시범

전송·수정 권한 없이 저장된 비민감 사례로 시험

기준 합의

중요도 기준과 정답·예외 사례를 담당자가 정한다.

판단 분리

AI 점수와 채택 규칙을 따로 기록한다.

출력 검사

형식 오류·누락·중복을 점검한다.

수동 승인

검토자가 승인한 후보만 후속 업무에 사용한다.

시범에서 확인할 지표

선별 적중률

채택 후보 중 실제 검토 가치가 있는 비율

중요 사례 누락

정답 목록에서 빠진 항목 수

재처리 안정성

같은 자료를 다시 처리했을 때 중복된 결과 수

사용 범위와 승인 책임

현행 기준

Teamcenter·PDM·ERP와 확립된 M-BOM 기준 유지

실행 분리

자동 게시·메일 전송·운영 변경은 범위에서 제외

승인 위치

도구 내 승인 기능을 가정하지 않고 별도 검토 단계 지정

중단 조건

형식·권한 오류가 나면 작업을 멈추고 담당자 확인

  1. 범위·기준 합의
  2. 정답·예외 사례 준비
  3. 분리 환경에서 비교
  4. 담당자 승인 후 확대 검토