OpenAI's GPT-6 Astra on ARC-AGI-3

3줄 요약

1. ARC Prize 재단이 2026년 9월 3일 GPT-6 Astra의 ARC-AGI-3 검증 결과를 공개했다. 재단의 표준 하니스에서 Astra(max)는 준공개(Semi-Private) 세트에서 62.7%를 기록했고 비용은 2만 6098달러였다. 공급자 어댑터 하니스에서 Astra(high)는 99.9%를 기록했고 비용은 1만 8817달러였다.
2. 재단은 점수보다 행동 효율을 먼저 내세웠다. 공급자 어댑터 하니스의 Astra(max)는 사람 기준선보다 적은 행동으로 레벨의 96.0%를 통과했고, 한 레벨을 푸는 데 쓴 행동 수는 평균 51.7% 적었다.
3. 재단은 이 결과를 두고 프론티어 모델의 능력이 계단을 하나 오르듯 올라섰다고 평가하면서도, 벤치마크를 포화시킨 것이 곧 AGI 달성의 증거는 아니라고 분명히 밝혔다.

ARC-AGI-3은 무엇을 재는가

ARC-AGI-3은 에이전트의 지능을 측정하는 벤치마크다. 한 번도 본 적 없는 추상적인 턴제 환경을 문제로 낸다. 에이전트에게는 설명서가 주어지지 않는다. 스스로 환경을 돌아다니며 목표가 무엇인지 알아내고, 내부 모델을 세워 행동을 계획해야 한다. 환경을 이루는 요소는 핵심 지식 사전(core knowledge priors)뿐이다. 난이도는 사람을 불러 실제로 풀게 하면서 맞췄다. 사람은 이 환경들을 100% 풀어낸다.

재단은 ARC-AGI 시리즈의 목표를 현재 인공지능과 AGI 사이에 남은 격차를 재는 일로 설명한다. 여기서 AGI란 사람이 익힐 수 있는 모든 기술을, 사람만큼 효율적으로 익힐 수 있는 시스템을 말한다.

ARC-AGI-3은 에이전트 지능을 네 가지 구성 요소로 나눠 본다.

점수와 비용

Astra는 표준 하니스와 공급자 어댑터 하니스 양쪽에서 최고 기록을 세웠다. 추론 강도를 높이면 오히려 비용이 내려가는 현상도 나타났다. 재단은 Astra가 더 적은 행동으로 게임을 풀어내면서 모델 호출 횟수와 토큰 총량도 함께 줄기 때문이라고 설명한다.

재단은 비교 대상으로 사람 참가자에게 지급한 금액을 함께 실었다. 90분짜리 세션 하나에 115달러를 주고, 완료한 게임 하나마다 5달러를 더 얹었다. 참가자는 한 세션에 아홉 게임 정도를 시도했다. 보너스를 빼면 게임 한 번당 약 12.78달러가 든 셈이다.

그런데 재단은 이 금액의 대부분이 참가자의 시간과, 시험에 응해 주겠다는 의사에 지급한 대가라고 덧붙인다. 재단이 인공지능과 견줄 값으로 제시한 것은 뇌가 소모한 에너지다. 뇌의 대사 전력을 20와트로 잡고 전기 요금을 킬로와트시당 0.20달러로 계산하면, 세션 하나에 약 0.6센트, 시도한 게임 하나에 약 0.067센트가 나온다.

하니스 두 개, 질문 두 개

재단이 하니스를 둘로 나눈 이유는 서로 다른 질문에 답하기 위해서다.

표준 하니스는 어느 공급자에게도 유리하지 않은 최소한의 인터페이스를 모든 모델에 동일하게 제공한다. 게임을 푸는 데 필요한 정보는 전부 주지만, 무엇을 눈에 보이는 메모로 남길지는 모델이 알아서 정해야 한다. 재단은 미래의 AGI라면 이 조건에서 ARC-AGI-3을 풀어낼 수 있어야 한다고 본다. 인터페이스가 같으니 공급자끼리 같은 조건으로 비교할 수도 있다.

공급자 어댑터 하니스는 다른 질문을 던진다. 모델이 자기 공급자가 설계해 둔 컨텍스트 관리 기능을 전부 쓸 수 있을 때 얼마나 잘하는가. Astra라면 요청과 요청 사이에 불투명한 추론 상태를 그대로 안고 갈 수 있고, 대화가 길어지면 압축을 걸 수도 있다.

이 차이가 만든 격차는 컸다. 준공개 세트 최고 점수가 62.7%에서 99.9%로 올랐다. 공개 세트와 준공개 세트, 모든 추론 강도를 합쳐 보면 공급자 어댑터 쪽 실행은 표준 하니스보다 기록된 총 경과 시간을 기준으로 약 3.66배 빨랐다. 두 하니스가 모두 풀어낸 게임과 추론 강도 조합 167개에서는 총 토큰도 49% 적게 썼다.

재단은 앞으로 ARC-AGI 리더보드에 두 하니스 결과를 모두 올리고, 각각의 평가 조건을 분명히 표시하겠다고 밝혔다.

애스트라가 만든 기호 표기

점수 말고도 재단은 리플레이를 들여다보면서 세 가지를 관찰했다. 첫 번째로 든 사례는 Astra가 스스로 만들어 쓴 압축된 대수 표기였다.

ARC-AGI-3을 플레이하는 동안 Astra는 다음 턴에 넘길 전략 메모를 직접 고른다. 물체와 좌표, 규칙, 아직 끝내지 못한 계획을 적으면서, 그 환경에 맞춰 자기가 만들어 낸 도메인 특화 표기를 함께 썼다. 재단은 다른 모델에서도 비슷한 행동을 본 적이 있지만 Astra의 메모는 정밀함과 정보 밀도에서 두드러졌다고 적었다. 눈앞의 장면 전체를 코드에 가까운 압축 기호 모델로 옮긴 셈인데, 물체의 위치와 상호작용, 해야 할 행동의 순서가 그 안에 들어간다.

재단은 이것을 완성된 프로그래밍 언어라기보다 즉석에서 만들어 쓰는 대수식 속기로 본다.

게임 s5i5를 플레이하는 Astra. 즉석에서 만든 대수식 속기로 상태를 추적하고 행동을 계획한다. (출처: ARC Prize)

사람보다 적은 행동 수

두 번째로 재단은 행동 효율을 살폈다. 재단은 ARC-AGI-3을 공개하기 전에 일반인 약 500명을 대상으로 각 환경을 얼마나 빨리 풀어내는지 측정해 사람 기준선을 만들어 두었다. 참가자를 퍼즐 경험이나 능력으로 걸러 뽑지는 않았다. 레벨마다 그 레벨을 완료한 사람들의 행동 수 중앙값을 기준선으로 삼았다.

공급자 어댑터 하니스의 Astra(max)는 전체 레벨의 96.0%에서 사람 기준선보다 적은 행동을 썼고, 레벨당 평균 행동 수는 51.7% 적었다. 재단은 이를 중요한 이정표라고 평가하면서, ARC-AGI-3이 재는 행동 효율 기준으로 Astra가 사람과 동등해졌고 그 선을 넘어섰다고 밝혔다.

각 점은 Astra(max)가 완료한 레벨 하나를 나타낸다. 실선 아래에 있으면 사람 기준선보다 적은 행동을 썼다는 뜻이다. (출처: ARC Prize)

재단은 이 대목에서 자기들의 예측이 빗나갔음을 인정했다. ARC-AGI-3을 내놓기 전에는 행동 효율이 사람과 인공지능을 가르는 선으로 남으리라 예상했다고 한다. 인공지능이 환경을 풀어내더라도 사람보다 훨씬 많이 헤매야 하리라고 보았다. 무차별 대입 방식은 여전히 그 예상대로 움직였다. 그런데 프론티어 모델은 중간이 거의 없었다. 작동 원리를 이해하기 전에는 손도 못 대다가, 이해한 뒤에는 대체로 사람과 비슷한 효율을 냈다.

재단은 대부분의 벤치마크가 계산 자원을 재는 비용 효율만 측정하는 반면, 행동 효율은 환경을 다루는 데 얼마나 많은 경험이 필요했는지를 측정한다고 설명한다. 완료 여부만 보는 점수는 Astra가 문제를 풀었다는 사실까지만 알려 준다. 푸는 법을 얼마나 효율적으로 배웠는지까지는 알려 주지 못한다.

샌드박스에서 직접 만든 도구

세 번째로 재단은 외부 도구를 쥐여 줬을 때 Astra가 어떻게 움직이는지 보았다. 재단은 ARC-AGI-3의 초기 레드팀 파트너인 PRO-LONG 하니스에서도 Astra를 평가했다. 이 환경에서 Astra는 직접 코드를 실행할 수 있는 샌드박스를 쓸 수 있었다.

Astra는 게임마다 도구 한 벌을 새로 만들었다. 보드 파서, 게임 상태 모델, 탐색 알고리즘, 플래너, 계속 이어 쓰는 메모가 여기에 들어갔다. 실행이 길어지면 작은 게임 전용 소프트웨어 라이브러리를 만들기도 했다.

경비병과 순찰대가 돌아다니는 미로 형태의 게임 tu93이 그 예다. Astra는 길 찾기부터 시작해 maze_solver.py를 만들었고, 전투 규칙을 더해 combat_solver.py를 만들었으며, 움직이는 순찰대를 모델링한 patrol_solver.py를 붙였다. 그리고 sync_state.py로 자기 예측이 실제 관찰과 맞는지 대조했다.

PRO-LONG 하니스에서 미로 게임 tu93을 플레이하는 Astra. (출처: ARC Prize)

재단은 이 결과를 해석하는 데 필요한 설명도 덧붙였다. PRO-LONG의 조건은 사람을 대상으로 한 통제 실험과 다르다. 사람 참가자에게는 코드 인터프리터도 메모장도 없었다. 그러니 PRO-LONG의 결과는 모델 단독의 성능이라기보다 모델과 도구를 합친 성능으로 이해해야 한다. 샌드박스를 벗어나려 한 흔적은 한 번도 관찰되지 않았다. 재단은 이 내용을 각주에 짧게 달았다.

벤치마크를 통과했다는 것의 범위

재단은 Astra의 결과를 축하할 만한 큰 이정표라고 부르면서, 프론티어 모델의 능력이 계단을 하나 오르듯 뚜렷하게 올라섰다고 평가했다. 그러면서 곧바로 그 평가의 한계를 분명히 했다. 재단은 ARC-AGI-3을 내놓을 때부터, 이 벤치마크를 포화시키는 일이 AGI 달성의 증거가 되지는 않는다고 밝혀 두었다. 일반화를 향한 의미 있는 진전이라고 보지만 Astra가 AGI라고 주장하지는 않는다고 재단은 다시 확인했다.

이유도 함께 적었다. ARC-AGI-3은 재단의 첫 상호작용형 벤치마크였고, 지시 없이 인과적 세계 모델을 효율적으로 구성해 목표를 달성하도록 요구했다. Astra는 그 기준선을 넘었다. 그러나 ARC-AGI-3이 다루는 범위와 형식은 좁다. 환경이 어떻게 돌아가고 무엇을 목표로 삼는지가 미리 정해져 있으며, 답도 하나로 닫혀 있다. 현실 세계의 복잡성이나 끝이 정해지지 않은 문제를 대신하지는 못한다.

재단은 다음 세대 벤치마크를 무엇으로 채울지 지금 탐색하고 있다고 밝혔다. 재귀적 자기 개선과 열린 혁신을 어떻게 평가할 것인가가 그 목록에 들어 있다.

가장 흥미로운 지점

이 보고서에서 내가 가장 여러 번 읽은 대목은 하니스 두 개가 만든 격차였다. 같은 모델을 같은 문제에 붙였는데 62.7%와 99.9%가 나왔다. 가중치는 하나도 바뀌지 않았고, 바뀐 것은 요청 사이에 추론 상태를 보존하느냐, 긴 대화를 압축해 관리하느냐뿐이었다. 게다가 99.9%를 기록한 공급자 어댑터 쪽 실행은 표준 하니스 쪽보다 3.66배 빨랐고, 토큰은 49% 적게 들었다.

그러면 둘 중 어느 쪽이 이 모델의 실력인가. 이 질문 자체가 성립하지 않는지도 모른다. 재단이 두 숫자를 모두 리더보드에 싣기로 한 것도 그래서일 텐데, 표준 하니스가 재는 것은 모델 혼자의 능력이고 공급자 어댑터가 재는 것은 모델과 그 모델을 쓰는 방식을 합친 능력이다. 재단은 미래의 AGI라면 표준 하니스 조건에서도 풀어낼 수 있어야 한다고 적어 두었는데, 이 문장을 함께 놓고 보면 62.7%라는 숫자를 어떻게 읽어야 할지 생각해 볼 만하다.

또 하나 눈에 남은 것은 사람 참가자의 비용을 뇌의 전기 요금으로 환산한 각주였다. 세션 하나에 0.6센트. 같은 문제를 푸는 데 Astra가 쓴 돈은 수만 달러 단위였다. 재단은 점수가 사람을 넘어섰다는 문장 옆에, 아직 좁혀지지 않은 자릿수 차이 하나를 각주로 붙여 두었다.

출처

작성자: ARC Prize Foundation, Greg Kamradt. 발행일: 2026년 9월 3일. 초고 검토: François Chollet, Mike Knoop, Matt Mazur, Ethan Bond, Derek Smith. 원문: https://arcprize.org/blog/astra 전체 결과: https://arcprize.org/results/openai-gpt-6-astra 본문 이미지는 모두 원문에서 인용했다.