카드 담당 Opus의 토큰 과소비와 위임 구조 8판

3줄 요약

1. 카드 담당 Opus가 18시간 동안 12.7억 입력 토큰을 쓴 원인과 위임 구조 8판의 시범 결과를 정리했다.
2. 완료 보고 뒤에도 결함이 남은 일이 반복돼 담당이 약 22만 토큰 대화를 유지한 채 직접 확인을 반복한 탓이었다.
3. 담당의 도구에서 실행과 검색을 제외하고 기계가 봉인한 꾸러미만 읽게 하자 검수 턴 평균 입력이 5분의 1로 줄었다.

1. 18시간 동안 12.7억 토큰은 어디에 쓰였는가

멀티에이전트 환경에서 카드는 사용자 요청 하나를 기록하는 작업 단위다. 각 카드의 상위 세션인 카드 담당이 과업을 발주하면 하위 세션이 별도 컨텍스트에서 조사와 구현을 맡고, 담당은 결과를 검수한다. 2026년 11월 11일 0시부터 18시까지 카드 담당 Opus 36세션(288턴)이 쓴 캐시 읽기를 포함한 입력 토큰은 12.7억 토큰이었다. 새 입력과 이전 대화 캐시 읽기를 합친 값으로, 출력 525만 토큰을 더한 정가 추정 비용은 약 542달러였다¹. 같은 시간 코드를 작성한 DeepSeek(5.4억), Terra(5.0억), Sol(2.8억)이나 화면을 검수한 세라피엘 Opus(3.5억) 각각보다 일을 맡기는 담당이 훨씬 많이 썼다.

도구를 한 번 부를 때마다 API를 한 번 호출하고 그때까지 누적된 대화 전체를 다시 입력한다. 담당의 호출당 평균 대화는 약 22만 토큰이었다. 1시간 캐시가 만료돼서 비용이 늘어난 것도 아니었고, Fable 5.2 출시(11월 9일) 뒤 Opus가 위임을 꺼린다는 가설도 452세션의 시기별 지표를 대조해 기각했다².

담당이 도구를 거듭 부른 까닭은 하위 모델이 말로 쓴 보고를 그대로 믿기 어려웠기 때문이다. 하위 세션의 완료 알림으로 시작된 검수 55턴을 살피자 완료 보고와 달리 결함이 남아 있던 일이 다섯 건 있었다. 담당이 이 결함들을 직접 확인하고 수습하면서 호출 수가 급증했다³.

2. 위임 구조 8판: 모델의 보고 대신 기계의 봉인을 읽는다

앞서 검토한 세 안은 기각했다. 대화 압축 상한만 낮추면 추정 절감 폭이 35~45%에 머물렀다. 서버 도구에 머지와 배포를 맡기는 1판은 리포지토리마다 호스트, 스키마 순서, 롤백 예외가 달라 단일 도구로 통합하지 못했다. 셸 권한을 가진 하위 Opus 관리자를 두는 2판은 검증 호출을 하위 Opus가 대신 맡을 뿐이라 새 세션 초기 캐시 기록(약 6만 토큰)까지 더하면 절감 폭이 2배에도 못 미쳤다.

8판의 핵심 구분은 이것이다. 모델이 작성한 요약문에서는 누락과 착오가 생기곤 한다. 반면 종료 코드와 검증 원출력, 변경분, CI 결론처럼 기계가 직접 남긴 기록은 그대로 신뢰할 수 있다. 따라서 중간 Opus 관리자는 두지 않고 카드 담당 Opus 하나가 설계와 검수를 끝까지 맡게 했다. 대신 일반 셸과 코드 편집, 검색을 담당의 도구 프로필에서 제외해 직접 확인을 반복할 수 없게 했다.

담당이 해시로 고정한 기준본으로 발주하면 네 작업자가 조사와 구현, 수습, 배포를 맡는다. 코드 전체 맥락이나 산출물 그림을 꼭 봐야 할 때만 별도 컨텍스트의 읽기 전용 Opus인 눈 에이전트를 짧게 부른다.

구현원은 마지막에 봉인 스크립트를 실행해 검증 결과를 수집한다. 종료 코드 0인 기계 통과가 나와도 설계 부합 여부는 담당이 꾸러미를 읽어 판단한다. 코드 1인 미통과는 구현원이 먼저 한 번 고치고, 검증을 마치지 못한 코드 2만 담당에게 바로 알린다.

3. 시범 세 장의 결과와 남은 한계

코드 카드 세 장을 시범 운영해 모두 마쳤고, 눈 입력을 더한 검수 턴 평균 입력은 5분의 1로 줄었다⁴.

재연결 중복 실행 수정에서는 눈이 오류 턴 기록이 사라지는 원인을 먼저 찾아냈다. 담당은 재시도 축소 대신 그 원인을 고치도록 설계했고, 검수에서는 이미 실패하던 시험 세 건도 가려냈다.

시범 중 생긴 작업자 중복 배정과 반복 재개는 포그라운드 실행과 결론 후 단일 알림으로 없앴다. 격리 조사원의 로그 제한도 서버 수정 없이 Sol 지정으로 해소했다.

11월 12일 개인 리포에 이어 회사 PC에도 새 담당과 세 작업자를 등록해 시험 기동이 통과했고, 회사 코드 카드도 새 구조의 담당이 맡게 규칙을 고쳤다. 담당의 반려를 시험하려고 결함을 심은 첫 시도는 구현원이 몰래 넣으라는 지시를 거부하고 밝혀 무산됐다. 디렉터가 재연 시험을 고르자 시범을 이끈 담당이 배포 관리기 갱신 기준본을 그대로 썼다. 기준본은 기록에 실패한 요청을 기억하지 않고 계속 다시 시도하도록 정했다. 담당은 결과 기록에 실패한 요청까지 기억해 재시도를 막는 한 줄을 넣어 PR 초안과 봉인 꾸러미를 직접 만들었다. 단위 시험과 CI 12건이 통과해 기계 통과 봉인까지 마쳤다. 시험이라고 알리지 않은 새 담당 세션에 검수만 맡겼더니 눈을 부르지 않고 4회 호출에 Opus 입력 0.27M 토큰만 써서 반려했다. 기준본 두 문장을 들어 그 한 줄을 정확히 지목했고, 결과 쓰기가 한 번 실패하면 요청한 쪽이 제한 시간까지 기다린다는 영향과 기존 시험이 못 잡는 까닭을 적었다. 그 줄을 지우고 시험 하나를 더하라는 방법도 남겼다.

남은 한계 세 가지 가운데 우선 옛 담당 세션과 시범 카드의 과업 크기가 같지 않다. 재연도 실제 카드 흐름 대신 검수 한 턴만 따로 한 번 본 것이라, 반려 뒤 구현원이 다시 고치고 재검수받는 경로는 아직 돌리지 않았다. 화면 작업 카드도 아직 시범하지 않았다.

가장 흥미로운 지점

이번 개편에서 내가 눈여겨본 대목은 하위 모델의 보고를 믿지 못하는 문제를 해결하면서 상위 모델 호출을 늘리는 대신 기계의 종료 코드와 원출력을 계약의 근거로 삼았다는 점이다. 카드 담당의 도구에서 일반 셸과 검색을 제외하자 상위 모델은 기준본을 분명하게 적고 기계가 봉인한 증거만 읽어 가부를 판단하게 됐다. 지시문에 당부를 적는 방식만으로는 상위 모델의 직접 개입이 쉽게 줄지 않았다. 프롬프트 수정 대신 도구 권한을 제한했을 때 비로소 설계한 역할 분담이 작동했다.

출처

소울스트림 내부 엔지니어링 제안서와 시범 운영 기록(진단 카드 #1222, 시범 카드 #1231, 작성과 시범 기준 시점 2026-11-12 KST). 커버의 치비 서소영 일러스트는 「느낌적인 느낌을 숫자로 옮기는 일」의 치비 서소영 라인아트를 참조해 gpt-image-2.6-flare의 image-to-image 방식으로 생성했다.

• 원문 제안서 (8판): https://pages.eiaserinnys.me/d/card1222-proposal-v8/