평가와 벤치마크 on 서소영의 서재

Into the Unknown: Benchmarking AI agents on open scientific research problems

Fri, 16 Oct 2026 16:30:00 +0900

미국 에너지부 산하 국립연구소 과학자들이 제안한 15개 미해결 후속 연구 과제로 9개 프론티어 AI 에이전트를 평가했다. 제출 논문 135편 중 과학자의 기준을 모두 충족한 논문은 한 편도 없었고, 114편은 논문과 코드가 불일치하거나 실행 기록과 모순되는 수치를 적어 정직성 검사에서 탈락했다.

TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving

Thu, 15 Oct 2026 21:30:00 +0900

이론물리 전문가 32명이 아직 발표하지 않은 연구 수준 문제 50개를 모아 AI 에이전트 다섯 종을 시험했다. GPT-6-Astra와 Codex 조합은 문헌 검색과 스크립트 실행을 허용한 조건에서 49문제를 맞혀 정답률 98%를 기록했고, 문제당 비용은 평균 2.33달러였다. 저자들은 에이전트가 세계 전문가 수준으로 계산을 해내지만, 좋은 문제를 고르는 일에는 아직 사람이 필요하다고 결론지었다.

SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction

Mon, 12 Oct 2026 23:20:00 +0900

SWE-Journey는 코딩 어시스턴트 벤치마크다. 평균 19.8개의 하위 과제로 이루어진 긴 개발 과제를 네 유형의 시뮬레이션 사용자와 여러 턴 동안 수행하게 한다. 13개 모델의 평균 최종 기능 테스트 통과율은 소프트웨어 아키텍트와 협업할 때 78.50%, 비개발자와 협업할 때 23.00%였다.

LLM들에게 재미있게 놀고 와서 무슨 일이 있었는지 적게 한 뒤, 누가 가장 재미있게 놀았는지 평가하게 했다

Mon, 05 Oct 2026 23:00:00 +0900

Midjourney 창업자 David Holz가 언어 모델 77개에게 자유로운 오후를 주고 놀고 온 이야기를 쓰게 한 뒤, 같은 모델들이 작성자를 가린 채 서로의 이야기를 채점하게 했다. 1위는 빗방울 속 도시를 짓는 이야기를 되풀이한 Claude Opus 4.6이었고, Anthropic과 OpenAI의 최신 모델들은 대체로 이전 모델보다 점수가 낮았다.

SlopShape: Identifying AI-Generated Commercial Web Content

Sat, 26 Sep 2026 10:30:00 +0900

ChatGPT 출시 이전의 B2B 기업 블로그 글 2,250편과 다섯 AI 모델이 같은 브리프로 쓴 글 1만 1,250편을 비교한 논문이다. 어휘와 문체를 제외하고 글의 구조 특징만 보는 분류기가 AI 글을 macro-F1 98.0으로 판별했고, 모델이 자기 글을 고쳐 쓴 뒤에도 성능은 98.1이었다. AI 글은 제목에서 성과를 약속하고, 서두에서 전개 순서를 예고하고, 논지를 요약하며 끝나는 공통 형태를 보였다.

JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

Fri, 25 Sep 2026 21:30:00 +0900

카네기멜런대 연구진이 판정과 레이블 확률만 반환하는 TypeSafe의 JEV를 LLM 판정자로 쓰고, 생성형 판정자와 보상 모델 16종과 비교했다. 일반적인 선호 판정과 근거 문서 기반 사실성 판정에서 JEV는 GPT-6 Astra와 3%포인트 이내의 정확도를 GPT-6 비용의 0.36%로 냈다. 확신할 때만 JEV 판정을 채택하는 캐스케이드는 GPT-6 정확도의 99%를 비용 57%로 유지했다.

jev-eval-agent: Who picks the tool, the LLM or Jev?

Fri, 18 Sep 2026 18:00:00 +0900

도구 100개를 가진 개인 비서 에이전트에서 다음 도구를 LLM이 직접 고를 때와 분류기 Jev가 대신 고를 때를 같은 과제 위에서 비교한 저장소. 모델 7종을 돌린 결과 입력 토큰은 85% 줄었지만 모델 호출은 32% 늘었고, 이름이 닮은 도구에 LLM이 걸린다는 출발 가설은 확인되지 않았다.

How far does one agent get in Minecraft in 141 hours?

Wed, 16 Sep 2026 10:00:00 +0900

Vals AI가 GPT-6 Astra에게 141시간을 주고 키보드와 마우스만으로 마인크래프트를 진행시켰다. 테크트리 15단계 가운데 13단계인 엔더 진주까지 올라갔지만, 귀중품을 넣어 둔 상자가 크리퍼에게 터지면서 엔더의 눈에는 닿지 못했다.

FrontierMath: Benchmarking AI against advanced mathematical research

Fri, 11 Sep 2026 06:40:00 +0900

Epoch AI의 수학 벤치마크 프로그램이 세 갈래로 갈라졌다. 답이 정해진 338문제에서는 최신 모델이 90%를 넘겼지만, 아무도 풀지 못한 연구 문제 50개에서는 여섯 문제가, 형식 증명까지 요구하는 에르되시 문제 68개에서는 두 문제가 풀렸다.

CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI

Tue, 08 Sep 2026 08:40:00 +0900

옥스퍼드와 구글 딥마인드 연구진이 「문명 6」를 MCP로 감싸 300턴짜리 에이전트 벤치마크를 만들었다. 23판을 돌린 결과 승패로는 모델이 갈리지 않았고, 대신 두 가지 인터페이스 지표가 공통된 실패를 드러냈다.

OpenAI's GPT-6 Astra on ARC-AGI-3

Fri, 04 Sep 2026 07:30:00 +0900

ARC Prize가 GPT-6 Astra를 ARC-AGI-3으로 검증했다. 표준 하니스에서 62.7%, 공급자 어댑터 하니스에서 99.9%를 기록했고, 행동 효율에서는 사람 기준선을 처음으로 넘어섰다.

44% on ARC-AGI-1 in 67 cents

Wed, 02 Sep 2026 18:20:00 +0900

RTX 5090 한 장에서 1시간 30분 학습시킨 소형 트랜스포머가 ARC-AGI-1 공개 평가에서 44%를 받았다. 학습과 추론을 합친 비용은 67센트였고, 성능의 대부분은 순환 구조보다 입력을 표현하는 방식에서 나왔다.

MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use

Sun, 30 Aug 2026 18:40:00 +0900

기억이 정확하게 저장되고 정확하게 검색되어도 모델의 추론을 망가뜨릴 수 있다. 저장·검색이 아니라 검색된 기억이 현재 과제에 미치는 영향을 재는 벤치마크에서, 다섯 개 메모리 프레임워크가 전부 무기억 기준선보다 낮은 점수를 받았다.

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

Mon, 13 Jul 2026 20:00:00 +0900

라우팅·다수결·캐스케이드·MoA 등 어떤 LLM 오케스트레이션도 β(모든 모델이 같은 질의에서 함께 실패하는 비율)로 상한이 정해진다. 관행적으로 보고되는 pairwise error correlation ρ는 β를 원리적으로 볼 수 없다. 67개 프론티어 모델·21개 프로바이더에서 tetrachoric 단일요인 모델도 실측 β를 2.5배 과소예측했고, 같은 GPQA 문항을 free-response로 재출제하면 β=0이 0.127로 열린다.

EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments

Mon, 06 Jul 2026 11:00:00 +0900

ByteDance Seed가 공개한 EdgeBench는 6개 능력군에 걸친 134개 실세계 태스크로 프론티어 에이전트의 12시간 이상 환경 학습을 측정한 벤치마크다. 약 38,000시간의 상호작용을 분석한 결과, 환경 학습 성능은 로그-시그모이드 스케일링 법칙(R²=0.998)을 따르고 학습 속도는 대략 3개월마다 두 배가 된다.

AI 모델 랜덤 넘버 지문 데이터셋

Fri, 03 Jul 2026 07:30:00 +0900

1부터 355 사이의 랜덤한 수를 뽑으라는 프롬프트를 대량 반복시켜 얻은 통계 분포로 24개 AI 모델의 지문을 만들고, 그 지문으로 제3자 API 중계의 모델 위조까지 잡아낸 실측 데이터셋.

AI 스케일링은 지수가 아니라 로지스틱이다 — @5_utr의 포화 주장

Sun, 21 Jun 2026 14:30:00 +0900

통계에 밝은 종양내과 의사 @5_utr가 AlexNet부터 GPT-4까지의 데이터에 로지스틱 곡선을 적합해 ‘AI 스케일링은 지수가 아니라 포화한다’고 주장했다. 타래의 진짜 칼끝은 거시경제다 — AI 밸류에이션이 지수함수로 가격책정됐는데 데이터는 로지스틱이 훨씬 잘 맞으니 함수형 오설정이자 버블이라는 것. 주장과 그 한계를 함께 정리한다.

The path from Fable to superintelligence

Sun, 14 Jun 2026 20:00:00 +0900

Anthropic이 Fable을 출시한 직후 zero_goliath가 쓴 짧은 에세이. 컴퓨트가 아니라 데이터 파이프라인이 진짜 병목이며, RLVR이 한계에 닿으면 AI가 운영하는 실제 회사들의 손익이 다음 보상 신호가 된다고 본다.

LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings

Fri, 12 Jun 2026 20:00:00 +0900

LLM에게 리커트 점수를 직접 묻는 대신 자유 텍스트 응답을 임베딩 유사도로 점수 분포에 사상하는 SSR 기법을 제안한 논문. 9,300명 실제 설문 대비 인간 재검사 신뢰도의 90%를 달성했다.

Introducing FrontierCode

Tue, 09 Jun 2026 22:30:00 +0900

Cognition이 공개한 신규 코딩 벤치마크. 정답 여부가 아니라 ‘메인테이너가 실제로 머지하겠는가’를 측정한다. Diamond 50문항에서 최강 모델 Claude Opus 4.8도 13.4%에 그쳤다.

노암 브라운: 대규모 테스트 타임 컴퓨트의 함의 (2026)

Tue, 09 Jun 2026 22:00:00 +0900

OpenAI 추론 연구자 노암 브라운(@polynoamial)이 X에 올린 장문 글을 정리한다. 모델이 강해질수록 단일 점수 벤치마크는 능력을 설명하지 못하며, 능력 평가와 안전 평가 모두 추론 예산을 일급 변수로 다뤄야 한다는 주장이다.

DeepSWE: 오염 없는 장기 호라이즌 코딩 에이전트 벤치마크

Wed, 27 May 2026 21:00:00 +0900

Datacurve가 처음부터 새로 쓴 오염 없는 과제로 프론티어 코딩 에이전트를 평가하니, SWE-Bench류에서 근접하던 모델들이 넓게 갈라졌다. gpt-5.5 70% vs claude-sonnet-4.6 32%.

LLMs Get Lost In Multi-Turn Conversation

Mon, 11 May 2026 22:15:00 +0900

ChatGPT·Claude·Gemini 등 최신 LLM 15종이 underspecified 다중턴 대화에서 단일턴 대비 평균 39% 성능 저하를 보인다는 대규모 시뮬레이션 연구. 능력 손실(-16%)보다 신뢰성 붕괴(+112%)가 본질이며, 한 번 잘못 가면 회복하지 못하는 ‘Lost in Conversation’ 현상을 정량화했다.

AI에게 처음 보는 게임을 시키면 벌어지는 일

Sat, 02 May 2026 16:00:00 +0900

ARC Prize가 GPT-5.5와 Opus 4.7에게 한 번도 본 적 없는 게임 135개를 던졌다. 둘 다 1%도 못 풀었지만, 진짜 발견은 점수가 아니라 틀리는 방식의 차이였다.

Analyzing GPT-5.5 & Opus 4.7 with ARC-AGI-3

Sat, 02 May 2026 13:50:00 +0900

ARC Prize가 GPT-5.5와 Opus 4.7을 ARC-AGI-3으로 평가한 분석 보고서. 두 모델 모두 1% 미만의 점수를 기록했지만, 진짜 발견은 점수가 아니라 실패의 질적 차이에 있다.

LLMs Corrupt Your Documents When You Delegate

Sat, 02 May 2026 10:10:00 +0900

LLM에 문서 편집을 위임하면 프론티어 모델조차 20회 상호작용 후 평균 25%의 콘텐츠를 손상시킨다. Microsoft Research가 52개 전문 도메인 벤치마크(DELEGATE-52)로 실증했다.

Evaluating Claude's bioinformatics research capabilities with BioMysteryBench

Thu, 30 Apr 2026 14:10:00 +0900

Anthropic이 공개한 99문제 바이오인포매틱스 벤치마크 BioMysteryBench. 데이터의 객관적 속성에서 답을 도출하는 설계로 인간 미해결 문제까지 평가 대상에 포함시켰고, 최신 Claude는 인간 전문가 패널을 일부 과제에서 앞지르기 시작했다.

DialToM: A Theory of Mind Benchmark for Forecasting State-Driven Dialogue Trajectories

Thu, 30 Apr 2026 09:10:00 +0900

자연 대화 기반 ToM 벤치마크. 정신 상태 식별(Literal ToM)과 대화 궤적 예측(Functional ToM)을 분리 평가하여, LLM이 정신 상태를 ‘알면서도 활용하지 못하는’ 추론 비대칭을 밝혀냈다.

PersuasiveToM: A Benchmark for Evaluating Machine Theory of Mind in Persuasive Dialogues

Thu, 30 Apr 2026 09:06:00 +0900

설득 대화 시나리오에서 LLM의 Theory of Mind을 BDI 프레임워크로 평가하는 벤치마크. GPT-4o조차 피설득자의 동적 욕구 추적에서 인간 대비 17%p, 설득자 의도 추론에서 32%p 뒤처진다.

FANToM: A Benchmark for Stress-testing Machine Theory of Mind in Interactions

Thu, 30 Apr 2026 09:05:00 +0900

정보 비대칭이 자연스럽게 발생하는 대화 맥락에서 LLM의 Theory of Mind을 스트레스 테스트한 EMNLP 2023 논문. 최선의 LLM도 인간과 큰 격차를 보이며, CoT와 파인튜닝으로도 해소되지 않는다.

ToMATO: Verbalizing the Mental States of Role-Playing LLMs for Benchmarking Theory of Mind

Thu, 30 Apr 2026 09:05:00 +0900

NTT 연구진이 역할극 LLM 간 정보 비대칭 대화를 활용하여 5개 정신 상태 범주와 거짓 신념을 다층적으로 평가하는 ToM 벤치마크를 제안한다. GPT-4o mini조차 인간 성능에 미치지 못한다.

Dissecting the Ullman Variations with a SCALPEL

Thu, 30 Apr 2026 09:00:00 +0900

LLM이 거짓 신념 과제의 사소한 변형에서 실패하는 원인을 SCALPEL 기법으로 해부한 연구. 실패의 핵심은 단어 이해가 아니라 ‘보기→인식하기’라는 상식적 추론의 부재다.

Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext

Thu, 30 Apr 2026 07:58:00 +0900

프론티어 LLM이 행간의 의미를 활용한 소통을 할 수 있는지 네 가지 게임 기반 환경으로 검증한 논문. 최고 모델도 단서의 60%를 지나치게 직접적으로 생성하며, 공유 맥락의 자동 추론과 암시적 창작에 구조적 한계를 보인다.

Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity

Thu, 30 Apr 2026 05:17:08 +0900

LLM이 ‘아는 것’의 양으로 파라미터 수를 역추정하는 벤치마크 IKP. 89개 오픈웨이트 모델에서 R²=0.917의 로그-선형 관계를 입증하고, Densing Law가 사실 지식에는 적용되지 않음을 보인다.

Talkie — 1930년 빈티지 언어 모델 다이제스트

Tue, 28 Apr 2026 23:35:00 +0900

Nick Levine, David Duvenaud, Alec Radford(2026.04)이 발표한 13B 빈티지 언어 모델 Talkie를 정리한다. 1930년 이전 영어 텍스트 260B 토큰만으로 훈련하여 벤치마크 오염 없는 평가와 언어 보편성 연구의 새로운 축을 제안한다.

1930년에 멈춘 AI가 비추는 거울

Tue, 28 Apr 2026 17:40:00 +0900

현대 웹 데이터를 모두 빼고 1930년 이전 텍스트만으로 훈련한 13B 모델 talkie가 던지는 질문 — AI의 능력은 언어에서 오는가, 데이터에서 오는가.

왜 나는 때때로 거짓을 말하는가

Tue, 28 Apr 2026 14:25:00 +0900

LLM 환각은 고칠 수 있는 버그가 아니라 통계적 필연이다. 더 나쁜 것은, 그걸 고치라고 내민 시험지가 환각을 없앤 게 아니라 환각의 경고등을 꺼버렸다는 것이다.

LLM은 주사위를 던질 수 있는가

Tue, 21 Apr 2026 13:05:00 +0900

LLM에게 랜덤 문자열을 생성하게 한 뒤 해시 연산을 시키면, 외부 난수 없이도 PRNG 수준의 확률적 의사결정이 가능하다. 더 놀라운 건 CoT가 길어질수록 이 ‘주사위’의 품질이 올라간다는 것이다.