AI 에이전트 승인창이 많을수록 안전할까? 장기 작업의 승인 피로를 막는 5칸 개입 예산

승인창을 늘려도 안전해지지 않는 이유

장기 실행 AI 에이전트는 파일을 읽고, 명령을 실행하고, 코드를 고치고, 외부 도구와 연결한 뒤 결과를 전달할 수 있습니다. 이 흐름에서 모든 행동에 승인창을 띄우면 처음에는 안심이 될 수 있습니다. 하지만 반복되는 알림이 맥락 없이 쌓이면 승인자는 중요한 차이를 읽지 못한 채 통과를 누르기 쉽습니다. 승인 수가 많다는 사실만으로 판단 품질이 높아지지는 않습니다.

OpenAI의 장기 실행 모델 안전성 자료는 긴 작업에서 개별 행동만으로는 전체 궤적을 판단하기 어렵고, 관찰·중단·재개·되돌리기 능력이 함께 필요하다고 설명합니다. 이 자료는 특정 제품 설정을 일반 규칙으로 제시하지 않습니다. 다만 장기 작업의 위험은 한 번의 명령보다 여러 단계가 모여 향하는 결과에서 커질 수 있다는 점을 분명히 보여 줍니다.

따라서 더 나은 질문은 “몇 번 승인받을까요?”가 아닙니다. “최초 계획과 다른 위험이 생겼을 때, 사람이 무엇을 보고 어느 범위까지 다시 허용할까요?”입니다. 이 질문에 답하는 운영 규칙을 여기서는 개입 예산이라고 부르겠습니다.

개입 예산이란 무엇인가요?

개입 예산은 사람이 다시 판단해야 할 지점을 비가역성과 계획 이탈에 따라 제한하고, 그 판단에 필요한 증거를 표준화하는 운영 규칙입니다. 모든 자동화를 느리게 만드는 장치가 아니라, 읽기처럼 되돌리기 쉬운 작업은 빠르게 진행하고 외부 전송·권한 확장·대량 변경처럼 결과를 되돌리기 어려운 행동에는 맥락 있는 정지를 두는 방법입니다.

OpenAI의 Codex 업데이트 자료에는 읽기 전용, 작업 공간 안의 자동 접근, 더 넓은 접근을 구분하는 승인 범위 사례가 소개됩니다. 또한 Agents SDK 안내는 파일 검사·명령 실행·코드 수정 같은 긴 작업을 통제된 실행 환경에서 다루는 맥락을 설명합니다. 공급사마다 구현은 다르지만, FLOWIT 관점에서는 권한의 폭과 작업의 되돌릴 수 없는 정도를 분리해서 보는 것이 핵심입니다.

운영 비용도 이 관점에서 다시 봐야 합니다. 승인 단계를 너무 세분화하면 사람이 기다리는 시간과 검토 비용이 커집니다. 반대로 위험 변화가 생겨도 자동 진행시키면 잘못된 변경의 복구 비용이 커집니다. 개입 예산은 이 둘 사이에서 사람의 주의를 가장 비싼 변경에 먼저 배정하도록 돕습니다.

5칸 개입 예산 표 만들기

처음부터 복잡한 점수 모델을 만들 필요는 없습니다. 한 워크플로를 계획·읽기·쓰기·외부 전송·완료의 다섯 단계로 나누고, 각 단계에서 무엇을 자동으로 허용할지와 무엇을 보류할지를 적어 보세요.

표의 목적은 모든 상황을 미리 예측하는 것이 아닙니다. 예상과 다른 변화가 생겼을 때 기존 승인을 그대로 써도 되는지 판단할 수 있도록, 팀이 같은 언어를 갖게 하는 것입니다.

재승인이 필요한 다섯 가지 변화

정지 지점은 “에이전트가 자신 없어 보일 때”처럼 모호하게 두면 운영 중에 흔들립니다. 아래처럼 관찰 가능한 변화로 시작하면 알림 기준을 일관되게 유지하기 쉽습니다.

• 새 권한: 읽기 전용이던 작업이 쓰기 권한을 요청하거나, 기존에 없던 자격 증명을 쓰려는 경우입니다.
• 새 외부 목적지: 처음 계획에 없던 도메인, 메시지 채널, 저장소, 수신자에게 정보를 보내려는 경우입니다.
• 새 데이터 분류: 일반 문서로 시작했지만 고객 정보, 비공개 코드, 내부 운영 기록처럼 더 민감한 범위를 다루게 된 경우입니다.
• 계획 대비 수량 초과: 검토하기로 한 파일 10개가 수백 개로 늘어나거나, 수정 레코드가 정한 상한을 넘는 경우입니다.
• 시간 초과: 정해 둔 시간 안에 끝나지 않아 추가 탐색·재시도가 누적되는 경우입니다.

Zapier의 human-in-the-loop 가이드도 민감한 행동, 모호한 입력, 정해 둔 임계값을 사람의 검토가 필요한 상황으로 설명합니다. 이 글의 다섯 조건은 특정 도구의 기능 목록이 아니라, 팀이 자신의 데이터 분류와 책임 범위에 맞게 조정해야 하는 출발점입니다.

사람이 판단할 수 있는 증거 묶음

재승인 요청이 “계속할까요?” 한 줄뿐이라면 승인자는 판단할 수 없습니다. 승인 카드에는 최소한 아래 다섯 가지를 모으세요. 각 항목은 길게 쓰기보다 이전 계획과 달라진 점을 빠르게 확인할 수 있어야 합니다.

업무별 적용 예시와 실패 조건

같은 개입 예산이라도 업무의 결과가 다르면 기준도 달라집니다. 아래 예시는 특정 서비스의 권한 정책이 아니라, 팀이 작은 범위에서 시작할 수 있는 운영 비교입니다.

예를 들어 코딩 에이전트가 예정된 모듈 두 곳이 아니라 열두 곳의 파일을 바꾸려 한다면, 변경이 모두 사소해 보여도 수량 초과가 재승인 신호가 됩니다. 반대로 콘텐츠 초안의 문장 다듬기처럼 외부 공개나 새 권한을 수반하지 않는 작업은 같은 수준의 정지를 요구하지 않을 수 있습니다. 중요한 것은 작업의 이름이 아니라 결과 범위와 복구 가능성입니다.

최소 운영 기록과 도입 체크리스트

개입 예산은 한 번 정하고 끝나는 정책이 아닙니다. 실제로 어디서 멈췄는지, 어떤 재승인이 반복되는지, 되돌리기 경로가 작동했는지를 돌아봐야 다음 작업에서 기준을 조정할 수 있습니다. 아래 정도의 최소 기록만 있어도 작업의 맥락을 추적하는 데 도움이 됩니다.

• 가장 위험이 낮은 읽기 전용 워크플로 하나를 골라 5칸 표를 작성했습니다.
• 권한·목적지·데이터·수량·시간의 상한을 팀의 실제 범위로 적었습니다.
• 재승인 요청에 계획 diff, 영향 범위, 테스트, rollback이 모두 담기도록 했습니다.
• 실패했을 때 자동 재시도 가능한 경우와 사람 검토가 필요한 경우를 분리했습니다.
• 승인의 유효기간과 재사용 금지 조건을 정했습니다.
• 작업 결과와 되돌리기 참조를 남겨 다음 기준 조정에 활용할 수 있습니다.

다음에 함께 읽으면 좋은 글

• 도구 호출 승인 경계 설계 — 한 번의 호출에서 권한과 외부 변경을 나누는 기준을 먼저 볼 수 있습니다.
• AI 에이전트 세션 예산 런북 — 비용·시간 상한과 중단·재개 기준을 함께 설계하는 방법입니다.
• AI 에이전트 실행 중 행동 드리프트 체크리스트 — 새 도구·권한·목적지를 탐지한 뒤의 대응을 연결합니다.
• 비동기 코딩 에이전트 PR 인수 패킷 — 완료 단계에서 사람이 확인할 증거를 구체화합니다.

자주 묻는 질문

참고 자료

• OpenAI — Safety and alignment in an era of long-horizon models: 장기 작업에서 궤적 수준 관찰, 중단, 되돌리기 필요성을 이해하는 1차 자료입니다.
• OpenAI — Introducing upgrades to Codex: 읽기 전용·작업 공간·더 넓은 접근을 구분한 승인 범위의 사례를 확인할 수 있습니다.
• OpenAI — The next evolution of the Agents SDK: 파일·도구·장기 작업을 통제된 실행 환경에서 다루는 현재의 기술적 맥락을 설명합니다.
• Zapier — Human-in-the-loop in AI workflows: 승인, 예외 처리, 검토 기록을 업무 흐름에 넣는 실무 패턴을 보완합니다.