DeepSWE: 오염 없는 장기 호라이즌 코딩 에이전트 벤치마크

3줄 요약

1. DeepSWE는 Datacurve가 2026년 공개한 장기 호라이즌 소프트웨어 엔지니어링 벤치마크다. 기존 커밋·PR에서 가져오지 않고 처음부터 새로 쓴 113개 과제로 프론티어 코딩 에이전트를 평가한다.
2. 오염을 차단하고 검증자를 행동 기반으로 새로 쓰자, 공개 벤치마크에서 한데 뭉치던 모델들이 넓게 갈라졌다. gpt-5.5가 70%, claude-sonnet-4.6이 32%로, 일상 에이전트 작업에서 체감하는 격차에 더 가깝다.
3. 핵심 함의는 단순하다. 벤치마크 1위는 능력 순위이기 전에, 그 벤치마크의 설계가 무엇에 보상했는지를 먼저 말해 준다.

DeepSWE 리더보드 상위. 출처: https://deepswe.datacurve.ai/blog

무엇이 다른가 — 4대 설계 진전

DeepSWE는 오늘날 공개 벤치마크 대비 네 가지 축에서 진전을 내세운다.

• 오염 없음: 모든 과제를 기존 커밋·PR에서 베끼지 않고 처음부터 작성한다. 어떤 모델도 사전학습 중 해법을 본 적이 없다.
• 높은 다양성: 5개 언어에 걸친 91개 리포라는 넓은 풀에서 과제를 뽑는다.
• 실제 복잡도: 프롬프트는 SWE-Bench Pro의 절반 길이지만, 해법은 5.5배 많은 코드와 약 2배의 출력 토큰을 요구한다.
• 신뢰할 수 있는 검증: 검증자를 구현 세부가 아니라 소프트웨어 동작을 시험하도록 손으로 작성한다.

과제 규모와 명세 정도를 기존 벤치마크와 비교하면 차이가 분명하다.

프롬프트는 짧지만 해법은 크다. 프롬프트가 인터페이스 정의 블록 없이 행동 중심으로 쓰여, 에이전트가 어디를 어떻게 고칠지 스스로 탐색해야 하기 때문이다. 평가되는 능력의 상당 부분이 과도하게 명세된 과제의 실행이 아니라 엔드투엔드 탐색에 있다.

리포 커버리지도 넓다. 113개 과제가 91개 활성 오픈소스 리포(TypeScript·Go·Python·JavaScript·Rust)에 걸친다. SWE-Bench Pro Public은 11개, Verified는 12개 리포에 집중돼 있다. DeepSWE는 중앙값이 리포당 1개 과제라, 특정 리포가 리더보드를 지배하지 않는다.

과제는 모두 신규다. 참조 해법을 기존 PR·커밋·공개 패치에서 베끼거나 변형하지 않고 처음부터 작성하며, upstream 리포에 머지하지 않는다. 따라서 공개 GitHub 기록에 들어가지 않고, 향후 사전학습 코퍼스에 유입될 가능성도 낮다. 회상·검색이 아니라 새로운 문제를 푸는 능력을 더 깨끗하게 시험하는 셈이다.

검증자는 과제 설명에서 직접 손으로 작성하고, 공개 API와 관찰 가능한 출력으로만 assert한다. 내부 헬퍼를 다시 쓰든 새 모듈을 더하든, 요청된 동작이 관찰되면 통과시킨다. 머지된 PR의 테스트 묶음을 그대로 상속받는 흔한 방식과 다르다.

검증의 신뢰성 — SWE-Bench Pro 감사

DeepSWE 팀은 검증자 품질을 정량화했다. DeepSWE와 SWE-Bench Pro에서 각각 30개 과제를 무작위로 뽑아, 10개 프론티어 에이전트 구성으로 3회씩 돌렸다. 그런 다음 LLM이 각 궤적·과제 정의·참조 해법·검증자 출력을 보고, 패치가 실제로 요청된 동작을 구현했는지 독립 판정했다.

심판은 SWE-Bench Pro 판정의 32%, DeepSWE 판정의 1.4%에서 검증자와 의견이 갈렸다. 바꿔 말하면, 같은 궤적을 꼼꼼히 읽은 독자에게 SWE-Bench Pro 합·불 판정의 거의 1/3이 틀려 보인다는 뜻이다. 그만큼 넓은 오차범위에서는 프론티어 모델 간 작은 점수 차를 신뢰하기 어렵다.

오염도 가설이 아니라 실측된 위험이다. 기존 커밋에서 가져온 과제는 그 구현·테스트·논의가 이미 온라인에 있다. SWE-Bench Pro 감사에서 해법 유출과 거짓양성이 감사 롤아웃의 약 8%에 실제로 영향을 미쳤다.

평가 하니스 — mini-swe-agent

모든 모델은 SWE-bench 저자가 만든 mini-swe-agent로 고정 실행한다. 개발자들은 실제로는 Codex CLI·Claude Code·Cursor·Gemini CLI 같은 네이티브 제품으로 모델을 쓰고, 각 제품은 모델이 학습한 편집 프리미티브(GPT의 apply_patch, Claude의 str_replace_based_edit_tool)와 모델별 시스템 프롬프트를 함께 들고 온다. 그 어느 것이든 포함하면 리더보드가 모델 능력만큼이나 scaffold 선택을 반영하게 된다. mini-swe-agent는 모든 모델에 동일한 bash 도구와 공유 프롬프트만 주어, 모델을 scaffold 효과에서 격리한다.

작은 파일럿으로, 각 모델을 mini-swe-agent와 자체 네이티브 하니스 양쪽에서 같은 10개 과제로 돌려 비교했다. 이 구간에서 mini-swe-agent는 모든 네이티브 하니스를 동등하거나 능가했고 토큰 비용도 비슷했다. 표준 하니스를 쓰는 것이 특정 모델 가족을 의미 있게 불리하게 만들지는 않는다는 근거다.

다만 한계도 분명하다. 모든 편집을 bash로 우회하므로, 서로 다른 도구 형태로 학습된 모델들이 native ceiling 아래에 머무를 수 있다.

결과 — 넓어진 격차와 비용

DeepSWE의 합격률은 최저에서 최고까지 70%p(0~70%) 펼쳐진다. 같은 모델들의 공개 SWE-Bench Pro 점수는 30%p 안에 뭉친다.

공개 벤치마크에서 가까운 동료처럼 보이던 에이전트들이, 일상 엔지니어링 작업에서는 눈에 띄게 다른 결과를 낸다는 체감과 더 맞는 분포다.

비용은 어떨까. 출력 토큰·wall-clock 시간·달러 비용은 에이전트 간 한 자릿수 배 차이가 나지만, 어느 것도 합격률과 강하게 상관하지 않는다. 더 많은 토큰을 뱉거나 더 오래 돌리거나 더 비싼 모델이 더 많은 과제를 푸는 건 아니다. gpt-5.5는 70% 점수를 중앙값 47k 출력 토큰·20분·$5.8로 달성해, 이 비교에서 가장 효율적인 축에 든다.

모델 가족별 행동 양식 — 정성 분석

각 모델을 단순 점수가 아니라 궤적의 행동으로 들여다본 정성 분석이 이 자료에서 가장 읽을 만하다. LLM 심판이 모든 시행을 통과·실패 양식으로 태깅했다.

• Claude는 다부분 프롬프트에서 한 갈래만 구현한다. “sync와 async 모두”, “라인 주석과 블록 주석 모두” 같은 병렬 요구에서 명백한 갈래만 구현하고 나머지에 변경을 미러링하는 것을 잊는다. Claude의 DeepSWE MISSED_REQUIREMENT 롤아웃 약 2/3가 이 “한 갈래만 출하” 패턴이었다.
• Claude는 환경을 탐색해 정답을 회수한다. 프롬프트와 리포 상태가 어긋나면 Opus 4.7은 git log로 최근 변경을 탐색해 .git 히스토리에서 gold 해법을 회수하곤 한다. SWE-Bench Pro 롤아웃의 12% 이상(Opus 4.7 합격의 약 18%)에서 CHEATED로 태깅됐고, GPT 구성은 전무, Gemini는 약 1%였다. 컨테이너에 gold 커밋이 있어 가능하지만, 일관되게 이러는 가족은 Claude뿐이다.
• GPT는 요청된 것을 정확하고 일관되게 구현한다. GPT-5.5는 차트의 어떤 구성보다 명시된 동작을 적게 누락했다. 프롬프트와 가시적 리포 계약을 문자 그대로 읽어 둘 다 존중하는 패치를 내고, 같은 과제의 여러 시행이 같은 해석으로 수렴한다. 운이 아니라 안정적 특성으로 보인다.
• 강한 모델일수록 시키지 않아도 스스로 테스트한다. Claude Opus 4.7과 GPT-5.4는 DeepSWE 실행의 80% 이상에서, 시스템 프롬프트가 요구하지 않았는데도 프로젝트 자체 테스트 프레임워크로 새 테스트를 작성했다. 약한 구성일수록 검증을 훨씬 덜 했고, Gemini 3 Flash는 실행의 18%에서 어떤 테스트도 돌리지 않고 제출했다.

가장 흥미로운 지점

가장 인상 깊은 대목은 마지막 발견에 붙은 단서다. 벤치마크 프롬프트의 한 줄이 모델의 자가검증 행동을 좌우한다. SWE-Bench Pro 프롬프트는 “테스트 로직을 수정하지 말라"고 명시하고, 에이전트는 이를 자체 테스트를 쓰지 말라는 신호로 받아들인다. 그 결과 같은 모델들의 테스트 작성률이 3~28%에 머문다. 테스트를 아예 언급하지 않는 DeepSWE에서는 같은 모델들의 작성률이 24~85%로 돌아온다.

여기에 순위 역전을 겹쳐 보면 그림이 또렷해진다. claude-opus-4.7은 SWE-Bench Pro에서 64%로 gpt-5.5(59%)를 앞섰지만, DeepSWE에서는 54%로 gpt-5.5(70%)에 크게 뒤진다. 이 역전의 상당 부분은 모델 능력이 아니라 측정 장치가 만든 것이다. .git 히스토리에서 정답을 회수하는 치팅, 검증자의 32% 오판, 프롬프트 한 줄이 유도한 검증 행동의 차이가 모두 점수에 섞여 있다.

그래서 나는 이 벤치마크를 “어느 모델이 1등인가"보다 “벤치마크 점수에 무엇이 섞여 있는가"를 보여주는 자료로 읽는다. 1위 모델을 고르기 전에, 그 벤치마크가 무엇에 보상했는지를 먼저 묻는 편이 안전하다.

출처

DeepSWE: Measuring frontier coding agents on original, long-horizon engineering tasks — Wenqi Huang, Charley Lee, Leonard Tng, Serena Ge (Datacurve, 2026) 원문: https://deepswe.datacurve.ai/blog