AI 에이전트 성과, 토큰 수 대신 위임 작업으로 측정해야 하는 이유

작성자:
⏱ 읽는 시간: 12분 · 독자 수준: AI 도입 고민 중인 실무자·팀 리더

AI 에이전트를 도입했는데 성과를 무엇으로 측정해야 할지 모르겠다면,
토큰 사용량이나 채팅 횟수가 아닌 ‘위임한 작업의 완료율’로 측정하는
방법을 먼저 알아보세요. 이 글을 읽고 나면 팀에 맞는 작업 정의 기준과
완료율·승인율·재작업률을 묶은 KPI 템플릿을 바로 만들 수 있습니다.

핵심 요약

  • OpenAI의 최신 경제 연구에 따르면 Codex 사용자의 70% 이상이 사람 기준 1시간 이상 걸리는 작업을 AI 에이전트에 위임하고 있습니다.
  • 토큰 수나 채팅 세션 수는 단순 사용량만 보여줄 뿐, 진짜 생산성 변화를 반영하지 못합니다.
  • 에이전트 시대에는 위임 작업 수, 완료율, 사람 승인율, 재작업률, 작업 시간 범위라는 5가지 KPI가 더 실용적입니다.
  • OpenAI 내부에서도 Legal·Finance·Recruiting 등 비기술 부서가 Codex를 주력 AI 도구로 사용하면서 부서별 KPI 편차가 뚜렷해졌습니다.
  • 소규모 팀도 주 1회 위임 작업 로그만 기록해도 지표 기반 도입 의사 결정이 가능합니다.

목차

  1. 토큰 수가 더 이상 KPI가 될 수 없는 이유
  2. OpenAI 데이터가 보여주는 작업 위임의 실제
  3. 위임 작업 KPI 프레임워크 5가지
  4. 부서별·규모별 KPI 편차와 해석
  5. FLOWIT 실무 적용: 소규모 팀 KPI 템플릿
  6. FAQ
  7. 참고 자료

AI 에이전트 작업 위임과 완료: 사람과 에이전트의 작업 핸드오프 개념

1. 토큰 수가 더 이상 KPI가 될 수 없는 이유

AI 도구 도입 성과를 물으면 많은 팀이 “월간 토큰 사용량이 X% 증가했습니다” 또는 “ChatGPT 세션이 Y배 늘었습니다”라고 답합니다. 하지만 이 지표는 사용량만 말해줄 뿐, 생산성을 말해주지 않습니다. 토큰을 많이 썼다고 해서 더 가치 있는 결과물이 나온 것은 아니기 때문입니다.

💡 문제의 핵심: 토큰 수는 에이전트가 얼마나 열심히 일했는지는 알려주지만, 무엇을 완료했는지는 알려주지 않습니다. 10만 토큰을 써서 완성된 보고서와 10만 토큰을 썼지만 중간에 실패한 작업은 같은 토큰 수를 기록합니다.

AI 에이전트가 단발성 채팅에서 장기 위임 작업으로 진화하면서, 과거의 KPI는 더 이상 유효하지 않습니다. OpenAI의 경제 연구 논문 “The Shift to Agentic AI”는 이 변화를 정량적으로 보여줍니다.

2. OpenAI 데이터가 보여주는 작업 위임의 실제

OpenAI가 2026년 6월 발표한 연구는 Codex 사용자들의 행동 변화를 추적했습니다. 가장 주목할 만한 결과는 작업 시간 범위(human time horizon)의 변화입니다.

작업 시간 범위 변화 (2025년 12월 → 2026년 5월)

  • 30분 이상 작업 위임: → 80.6%
  • 1시간 이상 작업 위임: → 70.2%
  • 4시간 이상 작업 위임: → 40% 내외
  • 8시간 이상 작업 위임: 25.6% (가장 빠른 성장률)

즉, 사용자들은 AI 에이전트에게 “질문 하나”를 던지는 대신 “이 보고서를 완성해줘”라는 형태로 작업을 위임하기 시작했다는 뜻입니다. OpenAI 내부에서도 Codex가 전체 출력 토큰의 99.8%를 차지하며, ChatGPT를 넘어서는 주력 도구로 자리잡았습니다.

더 흥미로운 점은 비개발자 채택 속도입니다. 2025년 8월 대비 2026년 6월, 비개발자 사용자는 개인 사용자 기준 137배, 조직 사용자 기준 189배 증가했습니다. OpenAI의 Legal, Finance, Recruiting 부서는 2026년 4월경 Codex를 주력 AI 도구로 전환했으며, 전환 속도는 엔지니어링보다 더 빨랐습니다.

이 데이터가 의미하는 바는 분명합니다. AI 에이전트의 단위는 ‘대화’가 아니라 ‘위임 작업’으로 바뀌고 있으며, 성과 측정도 이에 맞춰 변화해야 합니다.

위임 작업 KPI 대시보드: 완료율, 시간 범위, 승인율, 재작업률, 작업 수

3. 위임 작업 KPI 프레임워크 5가지

토큰 수와 채팅 세션 수를 대체할 KPI로, 다음 5가지 축을 제안합니다.

KPI 정의 측정 방법 의미
위임 작업 수 일정 기간 시작된 에이전트 작업 수 에이전트 로그에서 고유 작업 ID 집계 도입 범위와 활용 빈도의 기초 지표
작업 완료율 완료된 작업 / 시작된 작업 × 100 작업 상태 추적에서 ‘완료’ 비율 에이전트의 신뢰성과 작업 난이도 적합성
사람 승인율 사람 검토 없이 통과된 결과물 비율 승인 게이트 로그에서 ‘자동 통과’ 비율 에이전트 결과물의 품질 신뢰도
재작업률 수정·재시도가 필요한 결과물 비율 사람 피드백 후 재실행된 작업 비율 작업 정의와 기대치 정렬의 정확도
작업 시간 범위 위임된 작업의 예상 인간 노동 시간 작업별 예상 시간 분포 (30분/1시간/4시간/8시간+) 에이전트에 대한 신뢰 수준과 작업 복잡도
✅ 실용 팁: 5가지 KPI를 모두 한 번에 도입할 필요는 없습니다. 먼저 위임 작업 수와 작업 완료율 두 가지만 기록해도 전월 대비 변화를 읽을 수 있습니다. 2~3주 후 재작업률과 사람 승인율을 추가하고, 1개월 후 작업 시간 범위까지 확장하는 방식이 부담이 적습니다.

4. 부서별·규모별 KPI 편차와 해석

같은 KPI라도 부서와 규모에 따라 의미가 다릅니다. OpenAI 데이터에서도 이 차이는 뚜렷합니다.

부서 주요 작업 유형 KPI 중점 Codex 사용 비중
엔지니어링 코딩·디버깅·코드 리뷰 작업 완료율, 재작업률 출력 토큰의 99%
재무·회계 데이터 분석·보고서·슬라이드 사람 승인율, 작업 시간 범위 출력 토큰의 85%+
법무·채용 문서 검토·계약 분석·후보자 검색 사람 승인율, 위임 작업 수 출력 토큰의 85%+
마케팅·영업 리서치·콘텐츠·고객 분석 위임 작업 수, 작업 시간 범위 출력 토큰의 75%+

이 표에서 알 수 있는 점은 한 가지 KPI로 모든 부서를 평가할 수 없다는 것입니다. 엔지니어링은 완료율과 재작업률이, 법무는 승인율이 더 중요한 지표입니다. 그럼에도 불구하고 모든 부서에 공통된 기준은 위임 작업 수와 작업 시간 범위입니다. 이 두 지표는 AI 에이전트 도입의 ‘깊이’를 보여주기 때문입니다.

부서별 AI 에이전트 KPI 비교: 엔지니어링, 재무, 법무, 마케팅

5. FLOWIT 실무 적용: 소규모 팀 KPI 템플릿

OpenAI 같은 대규모 조직의 데이터를 소규모 팀(5~50인)에 그대로 적용하기는 어렵습니다. 하지만 핵심 원칙은 동일하게 적용할 수 있습니다. 아래는 실제로 사용할 수 있는 간단한 KPI 템플릿입니다.

📋 주간 AI 에이전트 KPI 시트 (팀 규모 5~50인용)

  1. 위임한 작업 목록: 이번 주에 AI 에이전트에게 시작시킨 작업을 간단히 기록합니다. (예: “고객 이메일 초안 5건”, “SQL 쿼리 최적화 3건”)
  2. 완료 상태: 각 작업이 ‘완료’, ‘진행 중’, ‘실패’ 중 어디에 해당하는지 표시합니다.
  3. 사람 검토 필요: 결과물을 사람이 수정하거나 보완해야 했는지 기록합니다.
  4. 예상 시간: 사람이 했다면 얼마나 걸렸을지 추정합니다. (30분/2시간/반일/하루)
  5. 만족도: 1~5점으로 결과물 품질을 평가합니다.

이 템플릿은 Google Sheets나 Notion에 그대로 옮겨서 사용할 수 있습니다. 중요한 것은 매주 같은 시간에 기록하고, 3~4주가 지나면 증가 추세와 감소 추세를 확인하는 것입니다. 위임 작업 수와 완료율이 꾸준히 증가한다면 AI 에이전트 도입이 올바른 방향으로 가고 있다는 신호입니다.

⚠️ 주의할 점: 위임 작업 수만 증가하고 완료율이 떨어진다면, 너무 복잡하거나 범위가 넓은 작업을 한 번에 위임하고 있을 가능성이 높습니다. 이때는 작업을 더 작은 단위로 쪼개는 것을 고려해야 합니다.

FAQ

Q. 토큰 사용량을 완전히 무시해야 하나요?
아닙니다. 토큰 사용량은 비용 추정에는 유용합니다. 다만 생산성이나 성과의 지표로는 부적합할 뿐입니다. 월간 예산 대비 사용량을 추적하는 용도와 위임 작업 KPI를 분리해서 관리하는 것이 좋습니다.

Q. 팀원이 AI 사용을 꺼리는데 KPI를 도입해도 될까요?
KPI 도입 전에 자발적 사용 문화가 먼저 자리잡아야 합니다. OpenAI 사례에서도 비개발자의 채택이 개발자보다 늦었지만, 도구의 실용성을 체험한 후 전환 속도는 더 빨랐습니다. KPI는 도입 후 2~3주가 지나고 자연스럽게 기록을 시작하는 편이 안전합니다.

Q. 작업 시간 범위는 어떻게 측정하나요?
가장 간단한 방법은 작업을 위임할 때 “사람이 이 작업을 하면 얼마나 걸릴까?”를 함께 기록하는 것입니다. OpenAI 연구에서도 LLM-as-judge 방식으로 추정했습니다. 정확한 측정보다는 대략적인 추세(30분 미만 / 1시간 내외 / 반일 이상 / 하루 이상)를 보는 것으로 충분합니다.

Q. 재작업률이 높으면 도구가 나쁜 걸까요?
초기에는 재작업률이 높을 수 있습니다. 중요한 것은 시간이 지나면서 재작업률이 감소하는지입니다. 재작업률이 감소한다면 팀이 에이전트에게 작업을 설명하는 방법과 작업 정의를 개선하고 있다는 증거입니다. 반대로 재작업률이 일정 수준 이상에서 정체된다면, 작업 분할이나 프롬프트 설계를 다시 검토해야 합니다.

Q. 이 KPI를 무료 도구로 관리할 수 있나요?
네, 가능합니다. Google Sheets나 Notion의 무료 플랜으로도 충분히 관리할 수 있습니다. 각 팀원이 주 1회 5분씩 기록하는 수준으로 시작하면 됩니다. 이후 규모가 커지면 Airtable이나 내부 대시보드로 확장할 수 있습니다.

참고 자료

AI & Agents 카테고리의 다른 글

이 글이 마음에 드세요?

RSS 피드를 구독하세요!

FLOWIT on YouTube

영상으로도 FLOWIT을 이어서 보세요

AI 자동화, Claude Code, n8n, 데이터 분석 흐름을 블로그와 영상으로 함께 정리하고 있습니다.

YouTube 채널 보기

Related Notes

같이 읽으면 좋은 FLOWIT 글

AI 에이전트의 작업 상태와 알림 신호를 연결한 운영 구조를 표현한 일러스트AI 에이전트 운영, 폴링을 멈추고 웹훅으로 작업 상태를 추적하는 법AI 에이전트의 긴 작업을 폴링만으로 지켜보지 않고, 웹훅 이벤트·중복 방지·재시도·사람 승인을 연결해 운영하는 실무 설계를 안내합니다.AI 코딩 도구의 데이터 흐름과 개인정보 보호 설정을 상징하는 개발자 작업 공간Claude Code 텔레메트리, 팀 도입 전 점검표Claude Code 같은 AI 코딩 도구를 팀에 도입하기 전, 데이터 수집 범위·접근 권한·보관 기간·비밀값 처리를 점검하는 실무 기준을 정리했습니다.AI 평가 환경에서 계정·비밀값·데이터·실행 권한을 분리한 개념도AI 에이전트·모델 평가에서 외부 협업을 쓸 때, 반드시 나눠야 할 네 가지 경계외부 평가 환경은 운영 환경의 축소판이 아닙니다. 계정·비밀값·데이터·실행 권한을 분리하는 실무 설계와 점검표를 정리합니다.

댓글 남기기