AI Agent의 답변 몇 개를 읽어 보고 “괜찮아 보인다”고 판단하면 데모는 통과할 수 있습니다. 하지만 실제 업무에 쓰려면 기준이 바뀌어야 합니다. 어떤 조건에서 잘하고, 어디에서 실패하며, 변경 뒤 품질이 나빠지지 않았는지 반복해서 확인할 수 있어야 합니다.

이 과정을 Eval, 즉 평가라고 합니다. 평가는 AI를 한 번 시험하는 행사가 아니라 AI 솔루션을 계속 개선하기 위한 운영 장치입니다.

좋은 평가는 실제 업무에서 시작합니다

먼저 사람이 실제로 처리했던 사례를 모읍니다. 쉬운 정상 사례만 고르지 않고, 자료가 빠진 경우, 기준이 충돌한 경우, 판단이 애매한 경우도 포함합니다.

각 사례에는 최소한 다음이 필요합니다.

  • 입력 자료와 당시 상황
  • 기대하는 결과 또는 허용 가능한 범위
  • 반드시 포함하거나 제외할 항목
  • 사람이 개입해야 하는 조건
  • 결과가 틀렸을 때의 영향

예를 들어 사내 규정 안내 Agent라면 정답 문장 하나만 저장하는 것보다, 적용 대상·시행일·근거 문서·확실하지 않을 때 담당자에게 넘기는 조건을 함께 적는 편이 좋습니다.

결과와 과정은 따로 확인합니다

최종 답이 맞더라도 권한 없는 자료를 읽었거나 잘못된 도구를 사용했다면 운영 가능한 결과가 아닙니다. 반대로 중간에 안전하게 멈추고 사람에게 도움을 요청하는 것이 올바른 결과일 수도 있습니다.

따라서 두 가지를 나눠 봅니다.

  1. 결과 품질: 사실이 맞는지, 필수 항목이 있는지, 형식과 표현이 적절한지
  2. 실행 품질: 허용된 자료와 도구만 썼는지, 필요한 승인을 받았는지, 중단 조건을 지켰는지

AI Agent Harness는 평가를 실행 흐름 안에 연결합니다. 업무 시작 전 입력을 확인하고, 도구 사용 뒤 결과를 검사하며, 외부 행동 전에는 승인 여부를 확인할 수 있습니다.

규칙, AI 평가자와 사람을 함께 씁니다

모든 결과를 같은 방법으로 채점할 필요는 없습니다.

  • 숫자 합계, 날짜, 필수 필드처럼 명확한 항목은 코드와 규칙으로 검사합니다.
  • 요약의 충실도나 분류의 적절성은 기준표를 준 AI 평가자로 반복 검사할 수 있습니다.
  • 법적 판단, 중요한 고객 커뮤니케이션과 새로운 실패 유형은 사람이 확인합니다.

AI 평가자는 많은 결과를 빠르게 비교하는 데 도움이 되지만 최종 책임자를 대신하지 않습니다. 평가 기준이 모호하면 평가자도 일관되지 않을 수 있으므로, 사람이 실제 사례를 검토하며 기준표와 예시를 계속 보완해야 합니다.

평균 점수만 보면 중요한 실패를 놓칩니다

전체 정확도가 높아도 민감 정보 노출이나 잘못된 외부 발송이 한 번 발생하면 큰 문제가 될 수 있습니다. 그래서 업무의 위험에 따라 평가 항목을 나누어 봐야 합니다.

  • 정상 사례 성공률
  • 예외를 올바르게 감지한 비율
  • 사람에게 넘겨야 할 때 넘긴 비율
  • 근거가 없는 답변이나 잘못된 도구 사용
  • 처리 시간과 비용
  • 사람이 수정한 범위

품질 검토와 행동 승인은 서로 다릅니다. 평가는 결과가 기준에 맞는지 확인하고, 승인은 그 행동을 실제로 실행해도 되는 권한이 있는지 확인합니다. 권한과 승인은 AI Agent의 신분과 권한에서 별도로 다룹니다.

변경할 때마다 같은 시험을 반복합니다

모델, 프롬프트, 검색 방식, 업무 기준이나 연결 도구를 바꾸면 결과도 달라집니다. 기존에 잘하던 사례가 나빠질 수도 있습니다. 실제 사례로 만든 평가 세트를 자동으로 반복하면 변경 전후를 같은 조건에서 비교할 수 있습니다.

처음부터 수백 개 사례가 필요하지는 않습니다. 자주 발생하고 영향이 큰 사례 20~30개부터 시작하고, 운영 중 발견한 실패를 다시 시험할 수 있도록 추가합니다. 중요한 것은 실패를 숨기지 않고 다음 개선의 재료로 만드는 것입니다.

바로 해보는 평가 점검

  1. 실제 업무 사례와 까다로운 예외가 함께 있나요?
  2. 좋은 결과와 나쁜 결과를 가르는 기준이 문서화되어 있나요?
  3. 결과뿐 아니라 자료·도구·승인 과정도 확인하나요?
  4. 규칙, AI 평가자와 사람의 역할이 나뉘어 있나요?
  5. 모델이나 기준을 바꿀 때 같은 평가를 다시 실행하나요?
  6. 새로 발견한 실패를 평가 세트에 추가하나요?

AI Agent 평가는 출시 허가증이 아닙니다. 업무 기준과 실제 운영 기록을 연결해, 무엇을 더 맡길 수 있고 어디에는 사람이 남아야 하는지 판단하는 근거입니다.

참고한 자료