3줄 요약
- 자료: 노암 브라운(Noam Brown, @polynoamial)이 X에 올린 장문 아티클 「Implications of Large-Scale Test-Time Compute」. OpenAI에서 추론 연구를 이끄는 그가, GPT-5.5 출시 직후의 반응을 출발점으로 모델 평가 방법론을 다시 묻는다.
- 진단: 단일 점수 벤치마크는 더 이상 모델의 실제 능력을 말해주지 못한다. 같은 모델이라도 테스트 타임 컴퓨트(추론에 쓰는 토큰, 돈, 시간)에 따라 성능이 크게 달라지기 때문이다. 강한 모델일수록 추론 예산을 더 잘 활용하고, 플래토(성능이 더 이상 올라가지 않는 지점)는 자꾸 뒤로 밀려난다.
- 함의: 능력 평가도 안전 평가도 추론 예산을 일급 변수로 다뤄야 한다. 단일 숫자 대신 “성능 vs 컴퓨트” 곡선으로 보고하고, AI 안전을 위한 Preparedness Framework와 RSP(Responsible Scaling Policy)도 추론 예산을 명시해야 한다.
화자와 자료의 배경
노암 브라운은 OpenAI에서 추론 연구를 이끄는 인물이다. 카네기 멜런 박사 과정에서 헤즈업 노 리밋 텍사스 홀덤 AI Libratus와 Pluribus로 프로 플레이어를 꺾어 유명세를 얻었고, 이후 OpenAI에서 o1(현재 GPT-5 계열 추론 모델로 이어진 라인)의 핵심 연구자였다. 그의 핸들 polynoamial은 polynomial과 자신의 이름을 합친 말장난이다.
이 글은 X(트위터)에 장문 아티클 형식으로 올라온 글이다. 처음에는 단일 트윗처럼 보이지만, 실제로는 약 5천 단어 분량의 에세이다.
단일 점수 벤치마크의 한계
브라운은 GPT-5.5 출시 첫날을 예로 든다.
GPT-5.5가 공개된 날, 첫 반응은 회의였다. 벤치마크 숫자는 더 좋아지긴 했지만, 그렇게 많이 좋아지진 않았다. 그런데 몇 시간 만에 사람들이 직접 모델을 만져보고 나자, GPT-5.4 대비 단계적 변화라는 게 분명해졌다. 클래식 “벤치마크 그리드"는 전체 그림을 보여주지 못하고 있었다.
왜인가. 같은 벤치마크라도 GPT-5.5는 5.4와 같은 토큰 예산이나 달러 예산에서 측정된 것이 아니었기 때문이다. 추론 컴퓨트를 통제하고 비교하면 5.5는 5.4보다 실질적으로 훨씬 강하다.
이는 측정 누락보다는 구조적인 문제에 가깝다. 모델이 강해질수록 더 많은 토큰을 효율적으로 쓰는 법을 익히고, 그래서 추론 예산을 늘렸을 때의 한계 효용이 더 길게 유지된다.
플래토는 멀거나, 아예 없다
자연스러운 반론은 이렇다. “성능이 더 이상 올라가지 않을 때까지 추론 컴퓨트를 밀어붙이면 되지 않나?” 브라운은 두 가지 증거로 반박한다.
Karpathy의 자율 연구 실험. 안드레이 카르파시(@karpathy)가 LLM에게 자동으로 실험을 돌려 진행하게 한 실험에서, 수백 번의 실험을 거친 뒤에도 성능이 계속 올라갔다.
UK AI Security Institute의 사이버 평가. 사이버 공격 능력을 평가하는 벤치마크에서, Mythos와 GPT-5.5는 1억 토큰을 쓴 이후에도 성능이 빠르게 향상되고 있었다.
강한 모델일수록 시간이 지날수록 성능 향상폭이 더 크다. 모델이 강해지면 더 긴 호라이즌(긴 작업 시간 구간)에서 효과적으로 작동하는 듯하다. 플래토 지점은 점점 뒤로 밀리고, 아예 사라질 수도 있다.
다음은 같은 흐름을 보여주는 한 예시다. Erdős unit distance 문제(에르되시의 단위 거리 문제)에서 pass@1 정확도가 테스트 타임 컴퓨트의 로그값에 비례해 계속 올라간다.
출처: 노암 브라운의 X 아티클
추론 컴퓨트 축의 선택지
성능을 보고할 때 x축에 무엇을 두는가. 브라운은 세 가지 선택지를 본다.
| 축 | 장점 | 한계 |
|---|---|---|
| 토큰 | 직관적이고 측정이 쉽다 | 모델마다 토크나이저, 속도, 토큰당 비용이 달라 모델 간 직접 비교가 어렵다 |
| 달러 | 사용자 관점에서 가장 실용적이다 | 배치, 하드웨어 활용도 같은 구현 세부에 의존한다. 비용과 지연시간이 트레이드오프 관계에 있다 |
| 벽시계 시간 | 사용자 체감에 가깝다 | best-of-N 같은 멀티 에이전트 기법은 지연시간을 거의 늘리지 않고 컴퓨트만 늘릴 수 있다 |
세 축 모두 완벽하지 않다. 그러나 어떤 곡선이든 단일 스칼라 점수보다는 훨씬 더 많은 정보를 준다. ARC-AGI는 이미 이 방향으로 움직였다(점수 vs 비용으로 보고).
또 다른 합리적 옵션은 토큰, 시간, 비용 예산을 명시적으로 정해 모델에 알려주는 방식이다. SAT나 국제수학올림피아드(IMO)에서 사람을 평가하는 방식과 같다.
AI 안전 평가에 대한 함의
이 논의는 AI 안전 정책으로 직접 이어진다. 프런티어 모델 출시 전에 AI 랩들은 사이버, 바이오, 그 외 오용 위험을 평가한다. 능력 임계값을 넘으면 완화책 마련 전까지 출시가 늦춰질 수 있다. 그런데 능력이 추론 컴퓨트의 함수라면, 안전 평가는 어떤 추론 예산에서 돌려야 하는가.
브라운은 Gemini 3 Deep Think 출시 사례를 든다.
Gemini 3 Deep Think가 공개되었을 때 벤치마크 점수는 이전 모델들보다 훨씬 높았다. 그런데 위험을 평가한 모델 카드는 함께 공개되지 않았다. 이것이 AI 안전 커뮤니티 일부의 분노로 이어졌다.
브라운의 해석은 다르다. DeepMind 비판이 더 깊은 문제를 놓쳤다는 것이다. Deep Think는 시스템 카드가 있는 다른 모델들 위에 올린 스캐폴드일 가능성이 크다. 그렇다면 외부의 누구라도 Deep Think 수준의 추론 비용을 감당할 의향만 있으면 비슷한 스캐폴드를 재현할 수 있었을 것이다. Deep Think는 그 작업을 일반 사용자에게 편하게 만들어준 것뿐이다.
정작 분노해야 할 지점은 Gemini 3와 다른 모델들이 공개될 때 그들의 시스템 카드가 테스트 타임 컴퓨트의 함수로 벤치마크 성능을 측정하지 않았다는 사실이다.
브라운이 그리는 이상적 평가 그림은 이렇다. 1천만 달러어치 추론을 단일 과제에 쏟아부을 수 있는 국가 행위자도 존재한다. 그러나 평가 자체는 수천에서 수백만 회의 rollout을 요구하므로 그 수준에서 모두 평가하긴 어렵다. 다행히 성능은 추론 컴퓨트에 따라 어느 정도 예측 가능하게 스케일한다. 그래서 상대적으로 낮은 예산에서 측정한 뒤 더 높은 예산에서의 능력을 (불확실성과 함께) 외삽하는 방식이 가능하다.
다만 긴 호라이즌의 평가는 작은 예산에서 외삽하기 어려운 복잡성을 가진다. AI 에이전트의 미스얼라인먼트를 1년 호라이즌에서 자신 있게 평가하려면 실제로 1년간 돌려보는 것이 유일한 방법일 수도 있다. AI 랩들은 곧 자기 에이전트의 작동 호라이즌이 신규 모델의 개발 사이클보다 길어지는 묘한 상황에 들어갈 수 있다. 그 시점에는 모델의 최대 운영 수명에 대한 평가를 출시 전에 마치는 것이 불가능해진다.
구체적 권고 3가지
브라운은 AI 커뮤니티에 세 가지를 권한다.
- AI 랩은 새 모델의 벤치마크 성능을 토큰, 비용, 시간을 x축으로 한 곡선으로 발표하라. 최소한, 스칼라 벤치마크 결과를 얻기 위해 사용한 추론 예산을 함께 보고하라.
- 벤치마크는 리더보드에 추론 사용량을 추적하거나, 명시적인 토큰, 비용, 시간 예산을 두어라. 많은 벤치마크가 이미 이 방향으로 움직였지만, 아직 표준 관행은 아니다.
- Preparedness Framework와 RSP는 모델이 안전 임계값을 넘었는지 판단할 때 추론 컴퓨트를 명시적으로 다뤄야 한다. 더해서, 평가는 여러 추론 예산에서 능력을 추정해야 하며, 작은 예산 런에서 큰 예산으로 투영할 때는 불확실성을 함께 명시해야 한다.
가장 흥미로운 지점
브라운 본인이 글 말미에 자조적으로 적은 부분이 가장 인상적이다.
만약 당신이 나를 한동안 팔로우했다면, 이 글 전체가 새로운 게 없어 보일 수도 있다. o1이 2024년 9월에 발표된 이후로 우리는 추론 모델의 성능이 더 많은 추론 컴퓨트와 함께 스케일한다는 것을 알고 있었다. 그런데도 거의 2년이 지난 지금, 프런티어 AI 랩들은 여전히 새 모델 출시에 단일 숫자 벤치마크 결과를 자주 보고하고, AI 안전 조직들은 스캐폴드가 100배의 추론 예산으로 더 나은 성능을 낸다는 사실에 여전히 놀라며, Preparedness Framework와 RSP는 여전히 결정적 능력 수준 판단에서 추론 컴퓨트 사용량을 무시하곤 한다.
알면서도 굳이 행동을 바꾸지 않는 것. 이 격차는 정보가 부족해서라기보다는, 단일 점수가 주는 보고 편의성과 사이클의 빠른 속도가 강한 관성으로 남아있기 때문일 것이다. 모델 카드 형식이 그렇게 굳어 있고, 비교 보도와 SNS도 그 형식에 맞춰 굴러간다. “성능 vs 컴퓨트” 곡선은 카피로 옮기기 어렵고, 비교 차트로 만들기도 어렵다. 그래서 단일 숫자가 살아남는다.
그러나 모델이 강해질수록 추론 컴퓨트가 들려주는 이야기가 단일 점수가 들려주는 이야기보다 점점 더 커진다. 같은 모델이 같은 벤치마크에서 100배의 컴퓨트로 두 배의 점수를 낼 수 있다면, 단일 숫자만 보고 출시를 결정하는 안전 평가는 이미 사실관계가 어긋난 토대 위에 서 있다. 점진적으로 부정확해지는 정보라기보다는, 사용자가 실제로 만날 능력 분포와 멀어지는 평가다.
출처
발신자: 노암 브라운(Noam Brown, @polynoamial), OpenAI 추론 연구 형식: X(트위터) 장문 아티클 원문: https://x.com/polynoamial/status/2064210146558136827