3줄 요약
- 비영리 위험 평가 기관 METR이 2026년 8월 12일부터 10월 29일까지 11주 동안 AI가 AI 연구개발(R&D)을 얼마나 가속하고 있는지 독립적으로 평가했다. 분석에는 Anthropic의 내부 연구개발 데이터와 미공개 모델 점수, 연구자 인터뷰가 쓰였다.
- Anthropic 모델들의 종합 벤치마크 지수(AECI)는 2025년 10월 이후 연간 상승 폭이 15점에서 29점으로 늘어 약 1.9배(95% 신뢰구간 1.5–2.8배) 빨라졌다. 1년 만에 과거 2년치 진전을 이룬 셈이다. METR은 현재 가속의 약 80%가 AI를 활용한 R&D로 설명된다고 추정했고, 학습 연산량 확장은 원인에서 제외했다.
- 알고리즘, 학습 연산량, 실험 연산량, 데이터 가운데 향후 12개월 내 성장을 제한할 뚜렷한 병목은 관측되지 않아 모델 성능 향상이 추가 가속을 유발하는 복리 효과가 발생할 위험이 있다. 핵심 증거 상당수는 다른 개발사의 연구를 가속할 수 있다는 이유로 공개본에서 삭제(redaction)되어, 대중이 원데이터를 직접 검증하기는 어렵다.
평가 배경과 METR의 세 가지 결론
프론티어 AI 시스템이 차세대 AI 연구개발 자체를 크게 가속하기 시작하면 극단적이고 위험한 능력이 갑작스럽게 출현할 수 있다. 비영리 연구 기관 METR은 이 통제 상실 위험을 가늠하기 위해 2026년 8월부터 10월까지 Anthropic 내부 자료에 대한 높은 수준의 접근 권한을 받아 평가했다.1 평가에는 상근 환산(FTE) 2.5명 규모의 연구진이 참여했으며, 주 저자는 Tom Cunningham, Nate Rush, Parker Whitfill, Hjalmar Wijk 네 명이다. Anthropic은 이들에게 사전학습과 강화학습(RL)의 알고리즘 효율 지표, 도메인별 학습 연산량, 사내 미공개 모델의 벤치마크 점수, 자체 AI 속도 향상 분석, 향후 모델 전망치, 핵심 연구자 약 15명의 인터뷰 자료를 제공했다.
METR 연구진은 내부 증거를 검토한 뒤 세 가지 핵심 질문에 대한 주관적 결론을 내렸다.
| 평가 질문 | METR의 주관적 결론 (2026년 10월 기준) | 불확실성 및 주요 근거 |
|---|---|---|
| 모델 능력 성장이 가속했는가? | 명확히 정의된 과제에서 모델 능력 개선 속도가 과거(2024년 3월–2025년 10월) 대비 약 2배 빨라졌다. | 실제 가속이 1.3배나 3배 수준일 가능성도 배제하지 않았으나, 비공개 내부 증거들은 2배 이상의 가속과 시간이 지나며 더 빨라질 가능성을 뒷받침한다. |
| 가속의 얼마만큼이 AI 덕분인가? | 2025년 말 초기 가속에는 비AI 요인이 작용했으나, 현재 가속의 과반(추정 약 80%)은 연구개발 과정의 광범위한 AI 활용에서 비롯됐다. | 학습 연산량(training compute) 투입 속도가 빨라진 것은 가속의 원인에서 확실히 제외됐다. 시간이 지날수록 AI의 기여 비중이 비AI 요인보다 점점 커지고 있다. |
| 향후 가속을 막을 병목이 있는가? | 향후 12개월 내 알고리즘 진보, 학습 연산량, 실험 연산량, 데이터에서 성장을 제한할 뚜렷한 병목이나 급격한 수확 체감이 확인되지 않았다. | 더 뛰어난 모델이 차세대 모델 개발 속도를 다시 높이는 복리(compounding) 가속이 내년에도 이어질 위험이 크다. 단, 세부 맥락에 따라 병목 판단이 여러 번 바뀌었으므로 불확실성이 남는다. |
AECI 벤치마크 추세와 사내 생산성 조사
보고서에서 말하는 ‘가속률(acceleration rate)‘은 과거 성장 속도와 비교해 현재 성장 속도가 몇 배로 빨라졌는지를 뜻한다. 예를 들어 선형 지표인 종합 능력 지수가 예전에는 1년에 15점씩 오르다가 1년에 30점씩 오르면, 예전에 2년 걸리던 점수 상승을 1년 만에 이루게 되어 가속률은 2배(2x)로 계산된다.2
Anthropic 모델들의 종합 벤치마크 지수 AECI(Anthropic’s Epoch Capabilities Index)를 이 기준으로 측정하면, 2025년 10월 7일을 변곡점으로 기울기가 뚜렷하게 달라진다. Epoch AI가 공개한 종합 능력 지수(ECI) 산출 코드를 Anthropic의 내부와 외부 벤치마크에 적용한 결과, 2025년 10월 이전에 연간 15점씩 오르던 추세가 이후 연간 29점씩으로 가팔라졌다. 추정 가속률은 1.9배이고, 95% 부트스트랩 신뢰구간은 1.5배에서 2.8배다. Claude 2.1부터 Sonnet 4.5까지 2년(2023년 10월–2025년 10월) 동안 이룬 벤치마크 진전을 최근 1년 만에 달성한 셈이다. 이 수치는 Haiku 5.5 시스템 카드에 보고된 1.7배보다 높다. 대외에 공개되지 않은 사내 모델(2026년 7월 학습을 마친 Model 2, 8–9월의 Model 3, 9–10월의 Model 4) 데이터를 포함했고, 모델 기준일도 대중 공개일 대신 ‘Anthropic 직원 대다수가 사내에서 사용할 수 있게 된 날짜’로 통일했기 때문이다.
사내 가용일 기준 Anthropic 모델 스냅샷의 AECI 점수 추이 (출처: METR)
인력 데이터와 설문 데이터도 AI가 연구개발 속도를 두 배로 높였다는 결론과 부합한다. Anthropic이 공유한 사내 슬랙(Slack) 이모지 투표와 설문 데이터로 직원들이 체감하는 개인 업무 속도 향상(self-reported uplift)을 확인할 수 있다. Claude 3.7 Sonnet을 쓰던 2025년 초에는 약 1.2배였고, 2026년 10월 내부 모델 Model 4에서는 약 12배까지 치솟았다. 이 값에 지수 함수 추세선을 그리면 연간 3.9배씩 증가하는 곡선이 된다.3 현재까지 모델 학습 파이프라인의 핵심 영역에서 가속을 주도하는 것은 완전 자율 에이전트보다 인간 연구자를 돕는 AI 보조(assistance)다. 그러나 일부 파이프라인에서는 완전 자율 에이전트가 곧 본격적으로 기여할 조짐(signs of life)도 보고됐다.
Anthropic 직원들의 비공식 체감 생산성 향상 배수 추이 (출처: METR)
평가 절차와 기밀 편집(Redaction)의 범위
이번 평가는 2026년 8월 12일 Anthropic이 기밀 자료를 공유하면서 시작됐다. METR은 10월 22일 약 100쪽 분량의 원본 보고서(Full Report)를 제출했고, 10월 말에는 기밀 편집 지침을 협의하고 일정을 5일 연장했다. 최종 공개본 제출일은 11월 3일이다. METR은 독립성을 유지하기 위해 Anthropic에게서 어떤 금전적 대가도 받지 않았으며, 보안상 Anthropic이 제공한 노트북과 분석용 무료 토큰 크레딧만 사용했다.4
계약에 따라 Anthropic은 ‘다른 AI 개발사의 연구를 가속할 수 있는 비공개 기밀 정보’를 공개 보고서에서 일방적으로 삭제(redact)할 권한을 가졌다. 대신 METR은 Anthropic이 이 권한을 행사했는지, 핵심 결론이 삭제된 증거에 의존하는지를 명시할 권리를 얻었다. 실제로 METR이 결론을 도출하는 데 가장 유용했다고 판단한 핵심 증거의 과반이 공개본에서 빠졌다. 당초 계약 범위에는 성능 연구와 안전 연구의 연산량 배분 비율을 검증하는 일도 포함됐으나, Anthropic이 위험 평가에 집중한다는 이유로 중도에 제외했다.
| 정보 유형 | METR 공유 여부 | 공개 보고서 수록 여부 |
|---|---|---|
| 내부 모델 능력 측정치: 사내 모델의 벤치마크 성능(AECI) | 공유됨 | 수록됨 |
| 내부 모델 능력 측정치: 주요 중간 지표(intermediate measures) | 공유됨 | 삭제됨 |
| 알고리즘 진보 추정치 | 공유됨 | 삭제됨 |
| AI 기여도 증거 | 공유됨 | 일부 수록 |
| 주요 R&D 투입 요소 측정치 | 대부분 공유됨 | 삭제됨 |
| 병목 요인 상세 분석 및 향후 모델 전망치 | 일부 공유됨 | 삭제됨 |
| 연구자 인터뷰 | 공유됨 | 일부 수록 |
공개본에서 제외된 항목에는 모델 학습 파이프라인의 단계별 가속률과 AI 기여도 세부 추정치가 있다. 연산량과 데이터와 알고리즘 진보의 기여도 분해도 제외돼 학습 연산량 가속과 무관하다는 결론만 공개됐다. 차기 모델 지표 전망치와 구체적인 개별 벤치마크 명칭도 수록되지 않았다. 삭제된 내부 지표 역시 여러 가지로 해석할 수 있는데, 대중은 증거를 직접 검토하지 못한 채 METR의 주관적 종합에 의존해야 하는 한계가 남는다.
추정치의 한계와 오차 요인
METR은 직원처럼 문서를 자유롭게 열람하거나 내부 토론을 실시간으로 참관하지 못하고, 요청한 자료를 받아 보는 방식을 따랐다. 그 때문에 추가 맥락을 전달받을 때마다 핵심 질문에 대한 판단이 여러 차례 번복됐다고 밝혔다. METR은 이를 바탕으로 보고서의 추정치가 실제 가속을 과소평가했을 가능성과 과대평가했을 가능성을 세 가지씩 정리했다.
과소평가 가능성
| 주요 원인 | 상세 메커니즘 |
|---|---|
| 최근의 추가 가속 누락 | 성장이 단순한 꺾은선과 달리 쌍곡선(hyperbolic) 형태로 계속 빨라지고 있다면, 모델 학습이 끝난 뒤에야 관측되는 특성상 현재의 순간 가속률을 낮게 잡았을 수 있다. |
| 임박한 완전 자율화 | 현재는 인간 병목이 남아 있으나, 학습 파이프라인 자동화가 특정 수준에 도달하면 예상보다 훨씬 급격한 가속이 나타날 수 있다. |
| 벤치마크와 현실 파급력의 괴리 | 수학 ECI 점수의 상승은 크게 가속하지 않았는데도 수십 년간 미해결이던 밀레니엄 난제가 최근 해결된 것처럼, 특정 능력 수준에 도달하면 현실 파급력이 폭발적으로 증가할 수 있다. |
과대평가 가능성
| 주요 원인 | 상세 메커니즘 |
|---|---|
| 비AI 요인의 과소 반영 | 채용 확대나 조직적 집중 등 비AI 요인이 최근 가속의 대부분을 설명한다면, 향후 지속적인 가속을 예상할 근거가 약해진다. |
| 명확한 과제에 국한된 가속 | AECI는 자동 채점이 쉬운 정형화된 과제를 주로 측정하므로, 비정형 실무 과제의 성장보다 벤치마크 분포에 과적합된 성장을 과대 해석했을 수 있다. |
| 과거 기준 성장률의 과소 추정 | 2025년 말 이전 Anthropic의 성장 속도가 업계 최전선(frontier)보다 일시적으로 낮았다면, 정상 궤도 복귀가 가속처럼 계산됐을 수 있다. |
회계 프레임워크와 강건성 검증, 연구자 인터뷰
METR은 원본 보고서에서 전체 모델 능력의 성장 원인을 역추적하기 위해 회계 프레임워크(accounting framework)를 도입했다. 사전학습 강도(Pretraining strength)와 강화학습 강도(RL strength)가 합쳐져 전체 모델 능력을 결정하고, 두 강도는 다시 각각의 알고리즘과 데이터 품질, 연산량 투입에 의해 결정된다고 설정하는 분석 틀이다.
능력 성장 원인을 역추적하기 위한 회계 프레임워크 (출처: METR)
연구진은 AECI 1.9배 가속이라는 결과가 분석 가정에 얼마나 민감한지 확인하기 위해 연결 함수(link function), 포함할 스냅샷과 벤치마크, 정규화 방식을 바꿔 가며 강건성(robustness)을 검증했다. AECI는 모델의 잠재 능력에서 벤치마크 난이도를 뺀 값에 로지스틱 함수를 적용해 예상 점수를 산출한다. 과제 난이도 분포의 양쪽 꼬리를 어떤 모양으로 가정하는지에 따라 추정 가속률은 최소 1.1배부터 최대 2.9배까지 차이를 나타냈다. 반면 스냅샷 선택 기준과 벤치마크 부분집합을 바꿨을 때는 1.9배에서 2.2배, L2 정규화 강도를 조정했을 때는 1.9배에서 2.1배로, 약 2배 가속이 일관되게 유지됐다.
| 검증 차원 및 세부 설정 | 과제 분포 또는 분석 가정 | 추정 가속률 (95% CI) | 표본 외 $R^2$ |
|---|---|---|---|
| 기본 설정 (Standard logistic) | 쉬운 과제와 어려운 과제의 꼬리가 지수적으로 감소하는 대칭 분포 | 1.9x (1.5–2.8) | 87.2% |
| 연결 함수: Probit | 양쪽 꼬리가 로지스틱보다 얇은 분포 | 1.8x (1.3–2.7) | 87.1% |
| 연결 함수: Cauchit | 양쪽 꼬리가 모두 두꺼운 분포 | 2.8x (2.0–4.1) | 86.1% |
| 연결 함수: Complementary log-log | 찍기로 맞힐 수 있는 쉬운 과제의 왼쪽 꼬리가 긴 분포 | 1.1x (0.8–1.5) | 87.1% |
| 연결 함수: Log-log | 극도로 어려운 소수 과제의 오른쪽 꼬리가 긴 분포 | 2.9x (2.1–4.9) | 86.9% |
| 연결 함수: 학습된 Stukel 함수 | 데이터에서 양쪽 꼬리 길이를 뜻하는 매개변수 2개를 직접 추정 | 2.6x (1.8–4.1) | 87.0% |
| 스냅샷: 모델당 첫 스냅샷만 | 사내 가용 첫 시점 기준으로만 추세 적합 | 2.2x (1.3–3.2) | - |
| 벤치마크: 비전 제외 / R&D 관련만 | OSWorld, MMMU 제외(2.2x) / Claude가 분류한 AI R&D 유관 과제만 유지(2.0x) | 2.0–2.2x | - |
| 벤치마크: 포화 과제 제외 | 점수가 85%를 초과한 시점 이후 해당 벤치마크 제외 | 1.9x (1.4–2.3) | - |
주목할 결과는 다른 개발사(OpenAI, Google, xAI)의 공개 프론티어 모델까지 포함해 업계 전체 최전선의 AECI 추세를 추정했을 때 나온다. 이 경우 2025년 10월 이전에 연간 17점씩 오르던 추세가 이후 연간 24점씩으로 바뀌어 가속률이 1.4배로 낮아진다. 2025년 10월 이전 최전선 기록은 대부분 다른 개발사 모델(GPT-4o, o1, o3, Grok 4, GPT-5 등)이 보유했고, 2025년 10월 이후 최전선은 Anthropic의 사내 모델들이 주도했기 때문이다.5 2025년 당시 Anthropic이 최전선보다 뒤처져 있다가 따라잡았다고 본다면 실제 가속은 1.4배에 가깝다. 반대로 초기의 다른 개발사 모델들이 벤치마크에 더 과적합되어 과거 추세가 고평가됐다고 본다면 실제 가속은 1.9배에 가깝다.
다른 개발사 공개 모델을 포함한 전체 프론티어 AECI 추세 (출처: METR)
Anthropic의 8월 위험 보고서에서는 Mythos Preview 출시 시점에 일회성 도약(one-time jump)이 있었을 뿐, 이후에는 예전 기울기로 복귀했다는 가설이 제기됐다. 그러나 최근 학습된 사내 모델들을 추가해 검증한 결과는 달랐다. 연구진은 Mythos 5까지의 데이터로 ‘영구적 기울기 변화(slope change)’ 모형과 ‘일회성 도약’ 모형을 각각 추정한 뒤, 이후 모델들(Model 2, 3, 4와 Opus 5.5)에 대한 예측 오차(held-out RMSE)를 비교했다. 영구적 기울기 변화 모형의 오차는 1.9점으로 일회성 도약 모형(3.9점)의 절반 수준이었으며, 부트스트랩 표본의 81%에서 우세했다.
일회성 도약 가설과 영구적 기울기 변화 가설의 표본 외 예측력 비교 (출처: METR)
한편 벤치마크 포화(saturation) 문제도 빠르게 심화되고 있다. 9개월 전 Opus 4.6까지만 해도 정답률이 50% 미만인 벤치마크가 많았다. 그러나 2026년 10월의 Model 4는 평가에 사용된 내부 벤치마크 15개 전부에서 50% 이상의 점수를 기록했다. 이 가운데 3개에서는 추정된 AECI 점수에 따른 개별 벤치마크의 로그 오즈(log-odds) 점수가 평평해지는 오목한(concave) 현상이 나타났다. 이 3개를 제외하고 다시 추정해도 Model 4의 AECI 점수는 178.6점에서 179.7점으로 1.1점 오르는 데 그쳤다.6
AECI 추세와 개별 벤치마크 점수(로그 오즈 스케일)의 변화 (출처: METR)
부록에는 연구자 11명(Researcher A–L, I 제외)의 인터뷰 발언록과 이를 Claude로 분류한 결과가 함께 실렸다. 본인 업무 영역에서 AI 덕분에 2배 이상 가속했다는 주장을 지지한 연구자는 5명(지지 2명, 지지 경향 3명)이고, 판단 유보와 불명확이 4명, 반대가 2명이었다.
| 연구자 | 핵심 발언 요지 | Claude 덕분에 2배 이상 가속했다는 주장 지지 여부 |
|---|---|---|
| Researcher A | 아이디어에서 실험까지 걸리는 시간이 80% 줄었고 일회성 측정 작업이 쉬워졌다. 더 이상 코드 작성에 발목 잡히지 않고 아이디어와 연산량이 병목이 됐다. Opus 4.5와 4.6에서 큰 향상이 있었고 Mythos Preview에서 더 큰 도약이 있었다. 1년에 2년치 이상 진전이 있었다는 데 전적으로 동의한다. | 지지 (Yes) |
| Researcher B | 대학원생과 박사후연구원 팀을 거느린 느낌이고 생산성이 3배 이상 높아졌다. 가장 단순한 설명은 Claude 덕분이라는 것이다. | 지지 (Yes) |
| Researcher C | 실험 발표 때 연구자들이 에이전트 스캐폴드 스레드를 그대로 가리키는 경우가 대부분이다. 실험 오버헤드가 빠르게 0에 수렴하고 있다. | 지지 경향 (Leans yes) |
| Researcher D | Mythos Preview와 에이전트 스캐폴드가 결합된 뒤로, 과거 아이디어당 1–2일 걸리던 실험 구현에 비용이 거의 들지 않게 됐다. 덕분에 훨씬 많은 아이디어를 시도한다. | 지지 경향 (Leans yes) |
| Researcher E | 에이전트 스캐폴드에 아이디어 10개를 한꺼번에 던져 보고 되는 것을 고르는 방식으로 유망한 연구 방향을 발견하고 있다. | 지지 경향 (Leans yes) |
| Researcher F | 기울기 변화의 50–80%는 Claude 덕분이다. 10명을 이끄는 매니저로서 과거엔 불가능했던 아이디어 사전 검증(de-risk)을 직접 수행해 팀원들을 설득할 수 있게 됐다. | 판단 유보 (Borderline) |
| Researcher G, H, J | Claude 자동화와 채용이 두 핵심 요인이다(G). ‘클로드화(claudification)’ 덕분에 동시 실험 수가 크게 늘었다(H). Opus 4.5에서 자율 코딩이, Mythos Preview와 에이전트 스캐폴드에서 자율 실험이 처음 유의미해졌다(J). | 불명확 (Unclear) |
| Researcher K, L | 가장 큰 원인은 채용 확대다(K). AI 기여 비중은 15–20%로 추측하며 자기보고식 생산성 조사 결과를 신뢰하기 어렵다고 본다. 반면 소프트웨어 엔지니어링 가속은 매우 실질적이며 Model 2에서 유용성이 다시 크게 향상됐다(L). | 반대 (No) |
가장 흥미로운 지점
이번 보고서를 읽으며 가장 곱씹어 본 주제는 연구자 C, D, E, J의 증언과 공개 범위 표의 대비다. 연구자들의 발언에 따르면 Opus 4.5와 4.6 시점에 자율 코딩이 가능해졌다. Mythos Preview에 내부 에이전트 스캐폴드가 결합되면서 과거 아이디어당 1–2일씩 걸리던 실험 구현과 모니터링의 비용은 0에 가까워졌다. 연구자 E의 표현대로 에이전트 스캐폴드에 아이디어 10개를 동시에 던져 두고 작동하는 후보만 추려내는 방식이 일상이 됐다. 인간 연구자의 병목도 코드 작성에서 아이디어 구상과 연산량 확보로 바뀌었다.
반면 사전학습과 강화학습 파이프라인의 어느 단계에서 얼마나 가속이 일어났는지 기록한 핵심 정량 데이터는 ‘다른 AI 개발사의 가속을 막는다’는 이유로 전부 비공개 처리됐다. 외부 평가 기관이 내부 자료를 직접 검토해 ‘AI가 AI 개발 속도를 두 배로 높이고 있다’는 중대한 위험 신호를 확인했음에도, 정작 그 위험 신호가 뚜렷할수록 보안과 경쟁 우려 때문에 대중이 볼 수 있는 실증 근거는 삭제되는 딜레마가 이번 보고서의 공개 범위 표에 그대로 남았다.
출처
METR (Tom Cunningham, Nate Rush, Parker Whitfill, Hjalmar Wijk), 2026-11-05 원문: https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
METR은 같은 날 Anthropic의 2026년 8월 위험 보고서(Risk Report) 가운데 AI R&D 섹션을 검토한 보고서도 발간했다. 이번 11주간의 평가는 2026년 10월 15일 Anthropic이 발표한 독립 평가자 프로그램과 별개의 프로젝트다. ↩︎
지수적으로 성장하는 변수라면 가속률은 로그 성장률의 비율로 계산한다. 예를 들어 연간 3배씩 성장하던 변수가 1년 만에 과거 2년치 진전을 이루려면 연간 $3^2 = 9$배로 성장해야 하며, 이 경우 가속률은 $\ln(9)/\ln(3) = 2$가 된다. 보고서는 두 가지 가속도 구분한다. ‘순간 가속(instantaneous acceleration)‘은 특정 시점의 기울기 비율이고, ‘누적 가속(cumulative acceleration)‘은 특정 시점 이후 누적된 전체 진전 중 AI가 차지하는 몫이다. ↩︎
개별 직원의 체감 생산성 향상 배수(uplift)가 곧 전체 모델 능력의 가속률과 일치하지는 않는다. 수확 체감을 이겨내고 모델 능력의 성장률을 일정하게 유지하려면 노동이나 노동 생산성 같은 투입 요소도 꾸준히 증가해야 한다. 전체 발전 속도가 ‘가속’하려면 투입 요소의 성장률 자체가 가속해야 한다. ↩︎
적대적 강건성(adversarial robustness)과 이해상충(COI) 공시에 따르면, 초기 참여 연구원 1명은 프로젝트 시작 무렵 Anthropic의 채용 제안을 받았다가 거절했다. 이 연구원은 경쟁사의 전직 직원으로 해당 경쟁사 지분을 보유하고 있었다. METR은 이해상충이 없는 다른 연구원에게 이 연구원의 모든 분석을 교차 검증하게 했다. 또한 분석 과정 전반과 데이터 수집에 Claude가 광범위하게 사용됐으나, 인간 인터뷰와 대조한 결과 체계적인 편향 징후는 발견되지 않았다. ↩︎
이 비교 그래프는 다른 개발사 모델 가운데 공개 모델만 포함한다. 반면 Anthropic은 사내 미공개 모델(Mythos Preview, Model 2, 3, 4)까지 포함해, 2025년 10월 이후 구간의 프론티어를 Anthropic 모델들이 차지한다. ↩︎
벤치마크 회당 토큰 사용량(expenditure)도 변수로 지적됐다. Anthropic은 내부 벤치마크 과제당 평균 입력 250만 토큰과 출력 7만 2,000토큰, 에이전트 코딩 벤치마크에서는 입력 1,000만 토큰과 출력 9만 4,000토큰을 사용했다. 이는 Epoch AI의 공개 벤치마크 설정(일반 과제 입력 50만 토큰과 출력 1만 토큰)보다는 많지만 METR의 장기 실행 소프트웨어 벤치마크(출력 약 65만 토큰)보다는 적은 수준이다. ↩︎