HyunSuSON
Sentry 장애를 AI에게 고치게 해도 될까? 병합 전 6칸 증거 카드
읽는 시간 약 8분 · 운영 판단 가이드
먼저 답하면: Sentry 이벤트를 바탕으로 AI가 만든 수정 PR은, 원인을 확인했다는 증거가 아니라 조사를 시작할 수 있는 가설입니다. 사건 범위부터 수정 후 관찰 조건까지 여섯 칸을 분리해 채워야 병합·보류·롤백 준비를 같은 기준으로 결정할 수 있습니다.
온콜 중에 오류 보고서와 스택 트… 더 읽기
AI가 BigQuery 파이프라인을 만들었다면 바로 배포해도 될까? 7칸 변경 수용 카드
읽는 시간 약 9분
먼저 답하면: AI가 BigQuery 또는 Dataform 파이프라인을 만들었다는 사실만으로 운영 반영을 승인하면 안 됩니다. 소스·대상 스키마·변환·스케줄·권한·실행 증거·롤백의 7칸이 채워지고, 각 칸의 보류 조건이 해소됐을 때에만 배포를 검토하는 편이 안전합니다.
“AI가 자연어 요청을 받아 파이프라인을 만들… 더 읽기
AI 에이전트를 운영 중인데, 모니터링은 뭘 봐야 할까? 5계층 관측 카드
⏱ 예상 읽기 12분
한 줄 요약: 프로덕션 AI 에이전트의 '정상'은 단일 지표로 판단할 수 없습니다. 도구 호출 정확성·토큰/비용·세션 이상·출력 품질·사용자 피드백의 5계층을 각각 측정하고, 계층별 임계값·알림·개입 기준을 사전에 설계해야 운영자가 '지금 우리 에이전트가 정상인가'를 객관적으로 판단할 수 있습니다.
핵심 요약
5계층 구… 더 읽기
AI 에이전트가 대화를 압축한 뒤에도 같은 일을 하고 있을까? 6칸 컨텍스트 인수 스냅샷
AI 에이전트가 대화를 압축한 뒤에도 같은 일을 하고 있을까? 6칸 컨텍스트 인수 스냅샷
📖 읽기 시간: 약 12분
|
🛠️ 실무 적용 난이도: 중상
대화가 짧아졌다는 작업 상태가 그대로다와 다릅니다.
이 글을 읽고 나면, 컨텍스트 압축 전후에 에이전트가 같은 목표·제약·미완료 작업을 유지하는지
… 더 읽기
AI 데이터 에이전트의 ‘검증된 질문’, 지표가 바뀌어도 믿어도 될까? 6칸 변경관리 카드
읽는 시간 약 9분
한 줄 답: 이미 검토한 AI 데이터 질문과 SQL도 지표 정의, 조인, 기간 경계, 시간대가 바뀌면 그대로 신뢰하면 안 됩니다. 질문마다 변경 영향을 판정하고, 결과를 다시 비교한 뒤에만 검증 상태로 돌려놓는 6칸 카드를 운영하는 편이 안전합니다.
“지난달 순매출은 얼마인가요?”라는 질문의 SQL을 이미 확인했다면, 반품 처… 더 읽기
AI 코드 리뷰가 코멘트를 스스로 닫았다면, 정말 끝일까? 병합 전 4상태 결정 기록
읽는 시간 약 8분
한 줄 답: AI 코드 리뷰가 코멘트를 자동으로 닫아도, 그것은 후속 커밋이 피드백을 다뤘다는 신호일 뿐입니다. 병합 판단은 테스트 증거·변경 범위·코드 owner 확인을 따로 기록해 내려야 합니다.
AI 코드 리뷰 도구가 후속 커밋을 보고 자신의 코멘트를 자동 해결 처리할 때, 팀은 무엇을 근거로 코멘트 종료·추가 검증·사람… 더 읽기
AI 에이전트 도구 자동 실행, 어디까지 맡겨도 될까? 3단계 canary 카드
읽는 시간 약 8분
AI 에이전트 도구 자동 실행, 어디까지 맡겨도 될까? 3단계 canary 카드
먼저 답하면, auto 옵션은 전면 무인 실행 허가가 아닙니다. 실제 실행 없이 판단을 비교하는 shadow부터 시작하고, 입력·대상·되돌림 범위가 좁은 작업만 제한 auto로 올리며, 외부 발송·삭제·결제·권한 확대는 pause … 더 읽기
AI 에이전트가 내 Android 앱을 조작하게 할까? AppFunctions 공개 전 6칸 capability 카드
읽는 시간 약 8분
먼저 답하면: Android 앱 기능을 AI assistant나 agent가 발견해 실행하게 만들 때는 기존 화면의 버튼 권한만으로 충분하지 않습니다. 기능마다 호출자 권한, 실행 전 확인, 복구와 감사를 분리해 기록한 capability 카드부터 만들어야 합니다.
Android 16 이상 환경에서 A… 더 읽기
AI 코딩 에이전트, 벤치마크 1위면 도입해도 될까? 우리 저장소에서 먼저 돌릴 10개 업무 실험 카드
읽는 시간 약 12분 · AI 코딩 에이전트 운영
독자의 질문
리더보드와 데모가 좋아 보이는 AI 코딩 에이전트를 팀에 들이기 전, 우리 코드베이스에서 어떤 업무를 몇 개 뽑고 무엇을 비교해야 채택·보류·확대 결정을 낼 수 있을까요?
짧은 답
외부 평가는 후보를 좁히는 신호로 쓰고, 최종 판단은 내 저장소의 대표 업무 10… 더 읽기
AI 에이전트 테스트, 매번 실제 API를 불러야 할까? 도구 결과를 고정하는 6칸 계약
읽는 시간 약 11분 · AI 에이전트 운영
독자의 질문
검색·CRM·사내 분석 도구의 결과가 매일 바뀌는 AI 에이전트에서, 무엇을 fixture로 고정하고 무엇을 실제 호출로 남겨야 배포 전 회귀와 운영 최신성을 함께 놓치지 않을까요?
짧은 답
모든 외부 도구를 실제 호출 또는 replay 한쪽으로 통일하지 마세요. 도… 더 읽기









