3줄 요약
- ByteDance Seed가 2026년 7월 공개한 EdgeBench는 과학·소프트웨어·최적화·전문 지식·형식 수학·인터랙티브 게임 6개 능력군에 걸친 134개 실세계 태스크(그중 51개 공개) 벤치마크로, 프론티어 에이전트가 태스크당 12시간 이상 환경과 상호작용하며 개선되는 궤적을 측정한다.
- 5개 프론티어 모델의 총 약 38,000시간 상호작용 데이터를 분석한 결과, 환경 학습 성능은 상호작용 시간의 로그-시그모이드 함수를 따르며 $R^2 = 0.998$의 정밀도로 맞춰진다. 사전학습 스케일링 법칙과 같은 수학적 형태다.
- 프론티어 모델의 환경 학습 속도는 대략 3개월마다 두 배가 된다. 12시간 리더보드에서 Claude Opus 4.8이 51.3점으로 선두, GPT-5.5가 48.4점으로 뒤를 잇는다.
왜 EdgeBench가 필요한가
기존 벤치마크는 한 번의 답을 채점하거나(one-shot), 길어도 몇 시간 안에 끝나는 태스크가 대부분이다. 그러나 실세계 배포에서 에이전트가 실제로 하는 일은 이와 다르다. 사전학습 데이터에 담기지 않은 사적인 기록·내부 도구를 다루고, 시행착오와 피드백을 통해 능력을 확장한다.
EdgeBench의 저자들은 이 격차를 두 가지 설계 요건으로 정리했다.
- 초장기(ultra-long-horizon)·다양성. 탐색, 전략 수정, 경험 축적 같은 학습 행동은 시간과 복잡도가 있어야 나타난다. 짧은 태스크는 학습이 아니라 기억에서 풀리기 쉽다.
- 현실적인 다층 피드백. 실전에서 인간 전문가는 테스트 실패, 실험 결과, 이상 현상, 권위 있는 판정 등 풍부한 피드백을 통해 배운다. 이런 피드백이 없으면 벤치마크는 학습이 아니라 짐작을 측정하게 된다.
태스크 태소노미 — 134개, 6개 능력군
각 태스크는 현재 어떤 에이전트도 포화시키지 못하는 성능 상한을 갖도록 설계됐다. 인간 전문가가 태스크 하나에 투입한 시간의 평균은 57.2시간, 최대는 320시간이다.
| 능력군 | 태스크 수 | 성격 |
|---|---|---|
| 과학 문제 & ML | 39 | 실측 데이터·실험 세팅 기반. 가설 수립·모델 선택·잡음 관측 검증을 반복 |
| 시스템 & 소프트웨어 엔지니어링 | 36 | 프로덕션급 코드베이스. 태스크 하나에 수천 줄, 최대 10만 줄 이상 변경 |
| 조합 최적화 | 19 | 주로 NP-hard 문제. 휴리스틱을 설계·튜닝·반복해야 진전 |
| 전문 지식 노동 | 19 | 금융·교육·의료·법률의 화이트칼라 산출물. 3년차 이상 전문가가 사흘 정도 걸리는 규모 |
| 형식 수학 & 정리 증명 | 13 | Lean 4·Coq 기반의 기계 검증 증명. 대부분 EdgeBench용 신규 제작 |
| 인터랙티브 게임 & 시뮬레이터 | 8 | NetHack, DCSS, Trinity, Anchorhead, OpenTTD 등 인간용 게임 |
시각 인식(특히 GUI 조작)이 주된 난이도인 태스크는 의도적으로 제외했다. 학습 능력과 시각 백본을 분리하기 어렵기 때문이다.
이중 루프 평가 프로토콜
EdgeBench는 종점 성공이 아니라 학습을 측정하기 위해 두 층의 피드백 루프를 채택했다.
- 내부 루프(inner loop) — 로컬·에이전트 주도. 쓰기 가능한 워크스페이스에서 테스트·시뮬레이터를 돌리고 오류를 관찰하며 산출물을 고친다. 제한 없이 빠르게 반복 가능.
- 외부 루프(outer loop) — 심판(judge) 매개. 제출한 산출물이 숨겨진 케이스와 비공개 채점 기준으로 평가되고, 보정된 점수·판정·진단을 돌려준다.
이 프로토콜은 격리된 work-judge 컨테이너 페어로 구현된다. 에이전트는 로컬 검증 도구는 볼 수 있지만 숨겨진 평가 자산에는 접근할 수 없다. 호스트 측 심판 서버가 제출 큐·쿨다운·인증·비동기 채점을 중재한다.
궤적 측정을 위한 자동 평가는 고정 간격으로 호스트 측에서 별도로 수행하며, 에이전트에게는 보여주지 않는다. 이렇게 해서 에이전트가 볼 수 있는 피드백과 평가자만 볼 수 있는 계측을 분리한다.
로그-시그모이드 스케일링 법칙
이 벤치마크에서 가장 큰 발견이다. 저자들은 다음 세 파라미터의 로그-시그모이드 모델로 평균 학습 곡선을 맞췄다.
$$ S(t) = \frac{S_{\max}}{1 + (t_{\text{mid}}/t)^\beta} $$- $S_{\max}$: 도달 가능한 점수 상한.
- $t_{\text{mid}}$: 상한의 절반에 도달하는 상호작용 시간.
- $\beta$: 진전이 로그 시간축 위에서 얼마나 가파르게 집중되는지.
정합의 정밀도가 놀랍다.
- 134개 태스크 평균에서 다섯 모델 모두 $R^2 \geq 0.997$.
- 6개 능력군 각각에서도 같은 함수형이 유지된다. 태스크 성격·채점 방식이 크게 달라도 로그-시간 시그모이드가 평균 궤적을 잘 설명한다.
- 12시간을 넘겨 28시간(80개 태스크), 72시간(18개 태스크)로 확장해도 $R^2 \geq 0.993$.
- 앞의 6.5시간만으로 12시간 성능을 예측해도 held-out RMSE가 1점 미만이다.
로그-확률, 로그-Gompertz, Weibull CDF 같은 다른 S자 곡선과 비교해도 로그-시그모이드가 가장 낮은 RMSE를 낸다. 반면 로그-선형 기저선(단순 $a + b\ln t$)은 눈에 띄게 나쁘다. 즉 개선은 로그 시간에서 선형이 아니라, 로그 시간축 위의 시그모이드다.
한 가지 특기할 점은 이 매끄러움이 개별 태스크가 아니라 태스크 모집단에서 나타난다는 것이다. 한 태스크의 궤적은 평평한 고원, 갑작스러운 돌파, 불규칙한 후퇴가 뒤섞여 있다. 그러나 태스크 수를 1개에서 134개까지 늘려가며 평균을 취하면 잔차가 단조 감소한다. 스케일링 법칙은 모집단 수준에서만 선명해지는 창발적 규칙성이다.
이론 — 잠재 태스크 그래프 위의 프런티어 확장
저자들은 왜 하필 로그-시그모이드인지에 대한 이론을 함께 제시한다. 요지는 다음과 같다.
한 태스크의 점수는 여러 점수 단위(score unit) 로 분해되며, 각 단위는 잠재 태스크 그래프의 노드에 대응한다. 이미 잠금 해제된 노드는 이웃 잠금 노드에 영향력을 미쳐 그것들을 잠금 해제한다. 학습 진전은 잠금 해제된 영역과 잠금된 영역 사이의 프런티어가 확장되는 과정이다.
평균장 근사(mean-field approximation)를 도입하면 정규화 점수 $x$의 성장률이 다음과 같이 표현된다.
$$ \frac{dx}{du} = \beta x (1 - x) $$여기서 $u$는 태스크 그래프 상의 유효 시간 좌표다. 자기 유사(self-similar) 그래프 구조를 가정하면, 즉 난이도가 한 단계 올라갈 때마다 관련 그래프 구조가 곱셈적으로 커진다면, 탐색 노력에 대해 $u \sim \log t$가 자연스럽게 나온다. 이 좌표 치환을 대입하면 앞의 로그-시그모이드 해가 정확히 유도된다.
두 인자의 해석이 깔끔하다. 잠금 해제된 점수 질량은 재사용 가능한 능력을 공급하고, 잠금된 점수 질량은 남은 개선 여지를 잰다. 학습 속도는 이 두 질량의 곱에 비례한다.
리더보드 — 12시간 기준
전체 134개 태스크 기준. 각 셀은 상호작용 시간별 누적 최고 점수다.
| 모델 | @2h | @4h | @6h | @8h | @10h | @12h |
|---|---|---|---|---|---|---|
| Claude Opus 4.8 | 39.0 | 45.7 | 48.1 | 49.8 | 50.9 | 51.3 |
| GPT-5.5 | 36.8 | 42.1 | 44.5 | 46.3 | 47.6 | 48.4 |
| GPT-5.4 | 29.7 | 34.0 | 36.5 | 38.0 | 38.9 | 39.3 |
| GLM-5.1 | 26.0 | 30.4 | 32.9 | 34.9 | 36.5 | 37.4 |
| DS-V4-Pro | 23.3 | 27.1 | 29.0 | 29.9 | 30.9 | 31.0 |
카테고리별 12시간 점수를 보면 결이 갈린다.
| 모델 | Science & ML | Systems & SE | Optimization | Knowledge | Formal | Games |
|---|---|---|---|---|---|---|
| Claude Opus 4.8 | 48.5 | 67.4 | 36.5 | 47.0 | 55.0 | 39.3 |
| GPT-5.5 | 44.3 | 65.0 | 33.6 | 45.7 | 50.0 | 39.1 |
| GPT-5.4 | 33.5 | 54.1 | 27.9 | 38.8 | 40.8 | 29.0 |
| GLM-5.1 | 33.8 | 50.9 | 26.4 | 43.5 | 24.6 | 29.3 |
| DS-V4-Pro | 30.0 | 43.0 | 21.5 | 37.0 | 14.1 | 16.9 |
Claude Opus 4.8이 모든 카테고리에서 앞서고, 특히 Systems & SE와 Formal Math에서 격차가 크다. 오픈소스 51개 태스크 서브셋에서도 순위 구조는 거의 동일하다(@12h: Opus 4.8 44.2, GPT-5.5 43.1).
실험 세팅 주석
여기서 하나 짚고 넘어갈 지점이 있다. 모든 모델이 자기 회사의 최적 하네스로 돌아간 것이 아니다.
- GPT 계열은 Codex + 256k compact 윈도우.
- GLM-5.1과 DeepSeek-V4-Pro는 Claude Code + 200k compact 윈도우.
- Claude Opus 4.8은 주로 Claude Code + 1M compact 윈도우. 200k vs 1M 어블레이션도 별도 섹션에 있다.
즉 Opus의 우세에는 컨텍스트 창이 5배 큰 조건이 섞여 있다. 저자들은 이 어블레이션을 명시하고 학습 다이나믹스 절에서 컨텍스트 길이가 유지력에 미치는 영향을 별도로 다룬다.
3개월마다 두 배 — 학습 속도의 두 번째 스케일링
전체 성능 스케일링 법칙 외에, 저자들이 두 번째로 내세우는 결론은 에이전트의 학습 속도 자체가 빠르게 좋아지고 있다는 것이다. 2025년 9월 이후 출시된 프론티어 모델을 시계열로 놓고 보면, 같은 성능에 도달하는 데 걸리는 시간이 대략 3개월마다 절반으로 줄어든다.
이 결론은 무어의 법칙과 비슷한 결의 예측 도구가 될 수 있다. 지금 12시간을 상호작용해야 도달하는 성능이, 몇 세대 지나면 몇 시간만에 도달 가능해진다는 뜻이다.
학습 다이나믹스가 장기 성능을 좌우한다
저자들은 네 번째 관찰로 장기 성능이 단순히 시도 횟수가 아니라 축적된 경험을 어떻게 쓰느냐에 달렸다고 결론짓는다. 구체적으로:
- 연속된 경험 > 독립적 재시작. 같은 총 시간이라도 컨텍스트를 이어서 쌓는 편이 매번 새 세션으로 시작하는 편보다 낫다.
- 더 긴 컨텍스트가 유지력을 개선한다. 200k보다 1M compact 윈도우에서 Opus의 성능이 유의하게 좋아진다.
- 상세 사례 연구에서, 피드백은 실패한 다수의 프로브를 소수의 지속적 이득으로 전환시킨다. 즉 시행착오 자체보다도 피드백이 걸러내는 신호가 중요하다.
평가 하네스 — SForge
EdgeBench는 SForge라는 두 컨테이너 평가 하네스로 구동된다. 작업 컨테이너와 심판 컨테이너를 분리하고, 호스트 측 심판 서버가 제출 큐·인증·비동기 채점을 매개하는 구조다. 51개 오픈 태스크와 하네스는 Hugging Face 데이터셋과 문서 사이트에서 받을 수 있다. 전체 134개 태스크 평가를 원하는 곳은 저자에게 문의하는 구조로 운영된다.
가장 흥미로운 지점
내가 곱씹은 대목은 이론과 실험이 만나는 지점의 깔끔함이다.
프리트레이닝 스케일링 법칙이 처음 나왔을 때도 사람들은 “왜 하필 파워로우인가"를 물었고, 이후 여러 이론적 근거가 붙었다. EdgeBench가 제시하는 로그-시그모이드는 그와 다른 축의 스케일링이다. 훈련 데이터가 아니라 배포 후 환경 상호작용이 자원이 되고, 그 자원의 대수(對數)에 대해 시그모이드로 능력이 성장한다.
저자들의 프런티어 확장 이론은 이 형태의 정체를 그럴싸하게 짚는다. 이미 확보한 능력이 새 능력을 잠금 해제하는 힘이 되고($x$), 남은 잠금 영역이 개선 여지를 이룬다($1 - x$). 두 항의 곱이 성장률을 결정한다는 논리는 로지스틱 성장의 익숙한 얼굴이다. 여기에 자기 유사 그래프 → $u \sim \log t$ 라는 한 겹의 좌표 치환이 로그축에서의 시그모이드를 만든다.
정말로 놀라운 것은 이 형태가 개별 태스크에서는 안 보이고 모집단 평균에서만 창발한다는 사실이다. 즉 스케일링 법칙은 단일 태스크의 학습 원리가 아니라, 다양한 태스크를 가로지르는 에이전트 능력의 통계적 형상이다. 이 관점은 벤치마크 설계에도 함의가 있다. 학습 능력을 재려면 태스크가 많아야 하고, 다양해야 한다. EdgeBench가 6개 능력군에 걸쳐 134개 태스크를 쌓아 올린 이유가 이 결론에 가서 붙는다.
두 번째로 남는 질문은 실용적이다. 3개월마다 두 배가 유지된다면, 지금 12시간짜리 실무 문제는 몇 세대 뒤에 얼마나 짧아지는가. 그리고 그 지점에서 인간의 개입 형태는 어떻게 바뀌는가. 저자들은 이 질문에 직접 답하지 않지만, 벤치마크가 그 답을 관측할 수 있는 형태로 만들어졌다는 것이 이 리포트의 마지막 기여다.
출처
발행: ByteDance Seed 발표일: 2026년 7월 2일 저자: Deyao Zhu, Xin Zhou, Shengling Qin, Xuekai Zhu, Hangliang Ding, Shu Zhong 외 원문 (테크 리포트): https://edge-bench.org/paper.pdf 데이터셋: https://huggingface.co/datasets/ByteDance-Seed/EdgeBench 프로젝트 사이트: https://edge-bench.org/ 평가 하네스: https://github.com/ByteDance-Seed/EdgeBench 라이선스: CC BY 4.0