44% on ARC-AGI-1 in 67 cents

3줄 요약

1. Mithil Vakde가 RTX 5090 한 장에서 1시간 30분 동안 소형 트랜스포머를 처음부터 학습시켜 ARC-AGI-1 공개 평가 세트에서 44%를 기록했다고 발표했다. 학습과 추론을 모두 합친 비용은 67센트였다고 한다.
2. 저자는 입력을 표현하는 방식이 성능의 대부분을 끌어올렸다고 설명했다. 순환 구조나 합성 데이터의 공은 아니라고 보았다. 3D RoPE와 퍼즐별 임베딩을 각각 빼면 점수가 25% 수준까지 내려갔다.
3. 저자는 ARC-1과 ARC-2에서 합성 데이터와 사전학습을 금지하자고 제안했고, HRM과 TRM이 자기 모델의 크기를 7M, 곧 700만 개라고 광고한 것은 오해를 부른다고 비판했다.

무엇을 만들었는가

Mithil Vakde는 ARC-AGI를 다룬 세 번째 블로그 글에서 자신이 만든 모델 mdlARC의 새 결과를 공개했다. 직전 모델의 점수는 40%였고, 이번 모델은 44%를 기록했다. 비용은 그러면서 도리어 줄었고, 코드도 그대로 공개해 두었다.

저자가 말한 67센트에는 모델을 초기화한 뒤 학습한 비용과 모든 과제를 추론한 비용이 모두 들어 있다. 그는 이 점을 특히 강조했는데, 직전 결과가 X에서 화제가 되면서 학습 비용을 빼놓고 계산한 것이 아니냐는 지적을 여러 번 받았기 때문이다.

점수가 같은 모델끼리 비용을 비교하면 차이가 크게 벌어진다. 저자가 그린 그래프에는 다음 값들이 함께 표시되어 있다.

TRM과 같은 44%에 도달하면서 비용은 236분의 1이 되었다는 뜻이다. 저자가 성능과 함께 비용을 강조하는 이유도 이 차이 때문일 것이다.

저자는 샘플 효율을 지금 인공지능의 가장 중요한 문제로 보고 ARC를 골랐다. 그는 ARC가 이를 측정하기에 알맞다고 보는 근거를 다섯 가지 들었다. 고차원 공간이지만 퍼즐은 1000개뿐이고, 퍼즐마다 규칙이 달라 메타학습 벤치마크가 된다. 평가에 필요한 개념은 학습 세트 안에 이미 있어서 사전 지식이 거의 필요하지 않다. 사람에게는 놀랄 만큼 쉽고, 합성 데이터와 사람이 넣은 편향을 제외하면 아직 포화 상태도 아니다.

어떻게 동작하는가

전체 구조는 직전 모델과 같고, 저자는 그 위에 여러 개선을 더했다고 설명했다. 그가 정리한 골자를 옮기면 다음과 같다.

• 입력 격자와 출력 격자로 이루어진 각 쌍을 토큰 시퀀스로 바꾸고, 소형 트랜스포머가 이 시퀀스를 자기회귀 방식으로 학습한다. 학습은 테스트 시점에 처음부터 이루어지며, 학습 세트 퍼즐과 평가 세트 퍼즐을 함께 쓴다. 평가 세트의 정답 격자는 가려 둔다.
• 퍼즐에서 배운 내용을 서로 활용하도록, 퍼즐마다 별도의 임베딩을 학습시켜 더해 준다. 한 시퀀스 안에 2차원 격자가 두 개 들어가므로 위치 정보는 3D RoPE로 학습시킨다.
• 시퀀스는 색 치환과 이면군 변환으로 증강한다. 추론할 때는 테스트 입력을 증강한 다음 모델이 낸 출력에 역변환을 적용하고, 가장 자주 나온 출력 두 개를 제출한다. 저자는 이 방식을 AAIVR이라고 불렀다.

지난 모델에서 바뀐 것

저자가 이번에 노린 것은 구조와 알고리즘을 손봐서 모델의 샘플 효율을 올리는 일이었다. 점수를 올린 요인과 비용을 내린 요인을 그는 따로 정리했다.

이번에는 입력 토큰을 더 이상 학습하지 않았다. 이 변경으로 손실 함수는 출력 토큰만 보게 되었고, 접근 방식은 지도 학습으로 바뀌었다. 성능은 40%에서 44%로 올랐다. 저자는 원인을 자기도 모르겠다고 했고, 모델 용량이 유한해서일지도 모른다고 덧붙였다.

저자는 학습 데이터도 늘렸다. ARC-2에서 ARC-1과 겹치지 않는 과제를 가져다 더했는데, 누출이 생기지 않도록 조심했다고 밝혔다.

ARC-2에는 ARC-1 퍼즐 773개와 새 퍼즐 347개가 들어 있다. ARC-1의 평가 퍼즐은 대부분 그대로 반복되므로, ARC-2를 아무 생각 없이 학습에 쓰면 데이터 누출이 일어나서 100%가 나온다. 나는 반복된 773개를 조심스럽게 걸러내어 이를 피했다.

추가한 데이터가 마음에 들지 않으면 빼도 된다고 그는 말했다. 그 경우 점수는 40% 근처로 내려가지만, 연산은 두 배쯤 더 들어간다.

손실이 나빠졌는데 점수가 올랐다

입력 토큰을 학습에서 뺀 뒤 저자는 테스트 손실과 평가 점수가 서로 반대로 움직인다고 관찰했다. 손실은 나빠졌는데 점수는 올랐고, 학습은 도리어 더 안정되어 점수의 분산까지 줄었다.

저자는 여기서 요즘 샘플 효율 연구가 흔히 취하는 방법에 의문을 제기했다. 작은 데이터셋에서 검증 손실을 최대한 낮추는 방향으로 연구하는 사람이 많은데, 그런 접근에는 이런 실패 양상이 있다는 것을 자기 결과가 보여준다고 했다. 그러면서도 비지도 방식이 더 나은 상황도 있을 것 같아 따로 평가하고 있다고 덧붙였다.

저자는 최적화 도구를 바꾼 경위도 적어 두었다. NorMuon을 쓰기 전에 그는 원래의 Muon을 먼저 시험했다. AdamW보다 학습이 훨씬 빨랐지만, 막판에는 손실과 점수가 수렴하지 않고 제자리를 맴돌았다. 이때 모멘텀이나 학습률을 크게 낮추면 도움이 되었지만, 그는 그런 수동 조작을 넣고 싶지 않았다고 했다. NorMuon으로 바꾸자 문제가 사라졌다.

어블레이션이 가리키는 것

저자는 성능에 가장 크게 기여한 것이 좋은 표현이라고 결론지었다. 여기서 좋은 표현이란 3D RoPE와 퍼즐별 임베딩을 말한다.

다음 사람이 할 일

저자는 코드를 공개했으니 점수를 올리거나 비용을 줄여 달라고 요청했다. 학습 데이터를 늘리는 방법만은 피하라는 조건도 붙였다. 그는 65%도 크게 손보지 않고 노릴 만하다고 했다. 여러 번 실행해 풀린 과제를 모두 모으면 55%가 나왔고, 거기에 거의 풀린 과제도 여럿 있었다는 것이 근거다.

그는 앞으로 해 볼 방향을 네 가지로 적어 두었다.

• RoPE는 위치 정보와 내용 정보를 섞어 버리는데 이것이 성능을 깎을 가능성이 있다. PoPE라면 비슷하거나 더 나을 것이고, 새로운 위치 임베딩을 고안하는 길도 있다.
• 구조는 더 최신화할 여지가 확실히 남아 있다.
• 손으로 쓴 GPU 코드로 비용을 10분의 1까지 줄일 수 있을 것이다. 구조를 바꿔서 같은 효과를 얻는 길도 있다.
• 데이터 증강 없이도 되게 할 방법을 찾아야 한다. 저자는 증강을 쓴 것 자체를 싫어한다고 밝혔다. 제거하는 방법은 몇 가지 뻔히 보이지만, 학습 비용을 낮게 유지하면서 해내는 것이 어렵다.

저자가 받은 비판과 그의 답

직전 결과가 화제가 되자 여러 연구자가 이를 두고 논쟁했다. 저자는 제기된 비판을 모아 하나씩 답변했고, 원문 부록의 절반을 이 내용에 할애했다.

벤치마크 자체에 대한 저자의 제안

저자는 ARC-AGI에 제기된 비판 중 Chollet이 여러 번 답한 항목은 제외하고, 자신이 타당하다고 본 세 가지를 제시했다.

첫째, ARC-1과 ARC-2에서는 합성 데이터를 금지해야 한다. 합성 데이터는 퍼즐을 풀 때 필요한 유동 지능의 문턱을 낮춰 벤치마크의 취지에 어긋난다고 그는 보았다. 그런데도 오늘의 상위 점수는 대부분 여기에 기대고 있다. 딥러닝 점수가 초라했던 2024년까지는 그럴 이유가 있었지만, 이제는 데이터를 충분히 주면 딥러닝이 무엇이든 배운다는 것을 우리가 안다고 했다.

둘째, 사전학습을 금지하고 제출 이후에 처음부터 학습하도록 규칙을 바꿔야 한다. 그러면 합성 데이터를 쓸 방법이 없어지고 모델 사이의 비교도 공정해진다. 그는 예전에는 이 방식이 불가능하다고 여겨졌지만, 자기 모델이 가능성을 보였다고 했다.

셋째, 성격이 다른 모델을 하나의 순위표 그래프에서 비교해서는 안 되고 차트를 나눠야 한다고 했다. 현재 가로축은 과제당 비용인데, 온라인 연산만 세고 대규모 언어 모델의 방대한 사전학습 비용은 세지 않는다. 학습 연산을 끝없이 늘리면 테스트 세트를 거의 학습 분포 안에 넣을 수 있으므로, 그런 모델은 따로 평가해야 한다.

여기에 그는 주최 측이 TRM과 HRM의 성공을 순환 루프와 깊은 감독의 공으로 돌린 것은 이른 결론이라고 덧붙였다. 순수 딥러닝으로는 ARC를 풀 수 없다는 가정이 그 판단에 깔려 있다고 보며, 자기는 동의하지 않는다고 했다.

저자가 보는 다른 접근의 문제

순환 구조가 다음 돌파구라는 가정. 저자는 순환 구조가 다음 흐름이 될 수 있다는 기대는 이해한다고 했다. 그러나 이를 입증할 어블레이션은 부족하다고 지적했다. 그는 순환 없이 같은 성능에 도달한 자기 모델을 반례로 들었다. 순환의 확인된 이득은 메모리 이동을 늘리지 않고 연산을 늘릴 수 있다는 것 하나라고 그는 정리했다.

HRM과 TRM의 크기 표기. TRM은 자신을 7M 모델이라고 홍보한다. 저자는 학습되는 임베딩 가중치가 1억 개 규모라는 점을 문제로 들었다. 이 표기는 오해를 낳고, 모델이 단순 조회표처럼 보이게 하며, 성능의 원인을 흐린다고 했다. 최소한 “활성 가중치 700만 개"라고 적어야 했고, HRM도 같은 상황인데 두 쪽 모두 어디에도 이를 밝히지 않았다고 그는 비판했다.

대규모 언어 모델 기반 접근. 저자는 이 계열의 ARC 점수에서 더 배울 것이 거의 남지 않았다고 보았다. 점수 상승은 주로 사후학습이 이끌고, 합성 ARC 데이터의 양에도 좌우된다고 했다. 모델이 추상 추론 일반을 배우기보다 ARC 과제를 푸는 법을 익히고 있다고 본 셈이다. 그는 공개 세트의 정답이 인터넷에 있어 점수에 의미를 두기 어렵다고 했고, 하니스를 얹어 성능을 올리는 일에도 동의하지 않았다. 사후학습의 핵심은 프론티어 연구소 안에 있고, 하니스는 그들이 직접 만들 수 있기 때문이라고 했다.

쓰라린 교훈을 거스르는 편법. 합성 데이터와 증강, 그리고 모델에 사람이 설계해 넣은 편향을 그는 모두 편법으로 본다. 이런 편법 없이 벤치마크를 올리지 못한다는 것은 아직 돌파구가 남아 있다는 뜻이라고 했다.

대규모 언어 모델이 ARC에서 보여준 것

저자는 대규모 언어 모델의 ARC 진척에서 자기가 읽은 것을 시간 순으로 정리했다.

ARC-AGI는 대규모 언어 모델보다 먼저 나왔고, 초기 점수는 매우 낮았다. 이는 사전학습이 일반 추론 능력을 주지 않으며, 사람에게 아주 쉬운 과제에서 모델이 무너질 수 있다는 뜻이다.

OpenAI의 o1이 75%를 받은 것은 큰 승리였다. 데이터가 충분하면 사후학습 단계에서 어떤 과제든 배울 수 있다는 신호로 그는 읽었다.

그러다 ARC-2가 나오자 추론 모델까지 포함해 그동안 쌓은 점수가 원점으로 돌아갔다. 이는 사후학습도 일반 추론 능력을 주지 않는다는 뜻이다. 만약 주었다면 ARC-1을 잘 푸는 모델은 ARC-2도 자동으로 잘 풀었을 것이다.

그 뒤 추론 모델들은 ARC-2에서 꾸준히 점수를 높였다. 사람들은 이를 일반 추론이 나아지는 증거로 읽었다. 그런데 저자는 기반 모델의 점수가 여전히 한 자리에 머물러 있다는 점을 놓치고 있다고 했다. 그는 여기서 세 가지를 추론했다. ARC-2 점수는 사후학습이 이끌고, 연구소들은 이 벤치마크를 겨냥해 최적화하며, 이 모델들은 어느 의미에서도 샘플 효율적이지 않다는 것이다.

그러면서도 자기는 이 모델들에 매우 낙관적이라고 밝혔다. ARC-2의 추세는 연산과 데이터가 늘면 성능이 계속 오를 것을 보여주고, 추론 비용이 내려가는 속도도 놀랍다는 것이다.

가장 흥미로운 지점

내가 가장 의외로 느낀 대목은 저자가 스스로 던진 질문에 있었다. 그는 트랜스포머만으로 45%에 이를 줄은 몰랐고, 이렇게 낮은 비용과 연산량으로 이를 줄은 더욱 몰랐다고 적었다. 그리고 바로 다음 문단에서 이렇게 물었다.

다른 사람들이 왜 이걸 알아내지 못했는지 나는 모르겠다. 가장 뻔한 표현을 얹은 그냥 트랜스포머일 뿐이다. 이 벤치마크는 6년째 열려 있었고, 주목도도 높았고, 백만 달러 상금까지 걸려 있었다. 연구자들이 딥러닝을 과소평가하는 걸까? 아니면 실험 비용이 너무 커서 어블레이션을 제대로 돌릴 수 없었던 걸까? 대규모 언어 모델에 시야를 가렸거나, 하니스를 쓰고 있었거나?

이 질문은 두 갈래의 생각으로 이어진다. 6년 동안 아무도 시도하지 않은 조합이 남아 있었을 수 있다. 또 새 아이디어보다, 저렴하게 어블레이션을 반복할 수 있는 실험 환경이 그 조합을 찾는 데 더 중요했을 수도 있다.

손실과 점수가 어긋난 관찰도 눈에 남는다. 검증 손실을 낮추는 일이 샘플 효율을 높인다고 여기며 연구하는 사람이 많은데, 이 모델에서는 손실이 나빠지는 변경이 점수를 올렸다. 저자도 그 이유를 설명하지 못했다. 이 사례는 지표를 대리 기준으로 삼을 때 어디에서 어긋날 수 있는지 생각하게 한다.

출처

Mithil Vakde, “44% on ARC-AGI-1 in 67 cents”, 2026. 원문: https://mvakde.github.io/blog/44-on-arc-1/ 코드: https://github.com/mvakde/mdlARC/ 이전 글: https://mvakde.github.io/blog/new-pareto-frontier-arc-agi/, https://mvakde.github.io/blog/why-all-ARC-solvers-fail-today/ 본문 이미지는 원문 블로그에서 인용했다.