프롬프트를 자세히 썼는데도 AI Agent의 답이 매번 달라지는 경우가 있습니다. 지시가 부족해서가 아니라, 일을 판단하는 데 필요한 정보가 빠졌거나 오래된 정보가 함께 들어갔기 때문일 수 있습니다.

사람도 업무 목표만 듣고는 정확히 일하기 어렵습니다. 최신 자료, 회사의 기준, 지금까지 진행된 상태와 사용할 수 있는 도구가 필요합니다. AI Agent도 같습니다. 이처럼 실행 시점에 필요한 맥락을 골라 제공하는 일을 Context Engineering이라고 합니다.

프롬프트와 맥락은 역할이 다릅니다

프롬프트는 AI에게 무엇을 해야 하는지 알려주는 지시입니다. 맥락은 그 일을 제대로 판단하는 데 필요한 재료입니다.

예를 들어 “지난달 영업 실적을 요약해 주세요”라는 지시는 명확해 보여도 다음 정보가 없으면 결과를 신뢰하기 어렵습니다.

  • ‘매출’이 계약액인지 입금액인지
  • 지난달을 어느 시간대와 마감일로 계산하는지
  • 취소와 환불을 어떻게 반영하는지
  • 어느 데이터가 최종 승인본인지
  • 결과를 어떤 형식으로 보고해야 하는지

프롬프트를 길게 쓰는 것만으로는 이런 기준을 대신할 수 없습니다. 먼저 부서가 함께 따를 업무 기준과 사내 지식을 정리해야 합니다.

많은 정보보다 필요한 정보가 중요합니다

AI에게 자료를 많이 주면 더 잘할 것 같지만, 실제로는 핵심 정보가 묻히거나 서로 다른 버전이 충돌할 수 있습니다. Context Engineering의 목표는 모든 문서를 한꺼번에 넣는 것이 아니라 현재 업무에 필요한 정보만 정확하게 고르는 것입니다.

좋은 맥락에는 보통 다음 요소가 포함됩니다.

  1. 이번 업무의 목표와 완료 기준
  2. 지금 처리하는 고객·프로젝트·기간
  3. 회사가 승인한 용어와 계산 기준
  4. 최신 자료와 그 출처
  5. AI가 사용할 수 있는 도구와 권한
  6. 앞 단계에서 이미 확인한 결과와 현재 상태

사내 지식 저장소는 정보를 보관합니다. Agent Memory는 과거 상호작용이나 작업 상태를 이어가는 데 쓰입니다. Context Engineering은 그중 무엇을 지금 꺼내 쓸지 결정합니다. 저장과 선택을 구분해야 오래된 정보가 무조건 따라오는 문제를 줄일 수 있습니다.

실제 업무에서는 맥락이 계속 바뀝니다

한 번 만든 프롬프트를 모든 상황에 그대로 쓰기 어려운 이유도 여기에 있습니다. 고객 문의를 처리할 때는 고객의 계약 범위와 최근 대화가 필요하고, 경영 보고서를 만들 때는 승인된 지표 정의와 최신 수치가 필요합니다.

따라서 AI Agent는 업무가 시작될 때 대상과 권한을 확인하고, 관련 자료를 검색한 뒤, 출처와 최신 여부를 확인해야 합니다. 실행 중 새로운 결과가 나오면 다음 단계에 필요한 상태만 이어가야 합니다. 이 과정 전체를 운영 구조 안에 두는 방법은 AI Agent Harness 글에서 이어서 설명합니다.

맥락에도 검증 기준이 필요합니다

검색 결과가 나왔다고 바로 사용해서는 안 됩니다. 맥락 자체가 맞는지 확인하는 기준이 있어야 합니다.

  • 승인된 저장소에서 가져왔나요?
  • 현재 사용자에게 볼 권한이 있는 자료인가요?
  • 최신 버전과 적용 기간이 맞나요?
  • 답변에서 어떤 자료를 사용했는지 확인할 수 있나요?
  • 서로 다른 기준이 발견되면 멈추고 담당자에게 물어보나요?

예를 들어 가격 안내 Agent가 만료된 가격표와 최신 가격표를 동시에 찾았다면 임의로 하나를 고르면 안 됩니다. 적용일과 승인 상태를 비교하고, 그래도 판단할 수 없으면 담당자에게 확인을 요청해야 합니다.

작게 시작하는 방법

처음부터 회사의 모든 지식을 정리할 필요는 없습니다. 반복되는 업무 하나를 정하고, 그 업무에서 사람이 실제로 확인하는 자료를 살펴보는 것이 좋습니다.

  1. 최근 실제 사례 10~20건을 모읍니다.
  2. 담당자가 판단할 때 확인한 자료와 기준을 적습니다.
  3. 꼭 필요한 정보와 있으면 좋은 정보를 나눕니다.
  4. 잘못된 버전이나 권한 없는 자료가 들어오면 멈추게 합니다.
  5. 사용한 출처와 결과를 기록하고 반복 오류를 고칩니다.

AI 도입이 업무 변화로 이어지려면 먼저 해결할 업무와 완료 기준이 분명해야 합니다. 그다음 맥락을 설계하면 AI Agent가 단순히 그럴듯한 답을 만드는 도구가 아니라, 조직의 기준을 따라 일하는 실행 도구에 가까워집니다.

바로 해보는 맥락 점검

AI Agent 도입을 검토 중이라면 아래 질문부터 확인해 보세요.

  1. 이 업무에서 반드시 필요한 최신 자료는 무엇인가요?
  2. 회사가 공식적으로 따르는 용어와 계산 기준은 어디에 있나요?
  3. 사용자와 업무에 따라 볼 수 있는 정보가 달라지나요?
  4. AI가 사용한 자료의 출처와 버전을 확인할 수 있나요?
  5. 정보가 없거나 충돌할 때 멈추는 기준이 있나요?

프롬프트는 여전히 중요합니다. 다만 실제 업무의 품질은 지시문 하나보다, 올바른 맥락을 올바른 순간에 제공하고 검증하는 구조에서 결정됩니다.

참고한 자료