The Untrainable

3줄 요약

1. Conviction 창업자 Sarah Guo가 2026년 6월에 쓴 에세이다. “모델이 모든 걸 더 잘하게 되면 그 위에 올라탄 회사는 전부 흡수당할 얇은 래퍼이고, 살아남는 가치는 컴퓨트와 frontier 가중치뿐"이라는 2026년 중반 투자자들의 비관론에 반박한다.
2. 핵심 진단은 이렇다. 측정할 수 있는(legible) 일은 벤치마크가 되고, 벤치마크는 곧 학습 대상이 되어 commodity로 빨려 들어간다. 가치는 측정할 수 없는(illegible), 곧 학습할 수 없는(untrainable) 영역으로 계속 미끄러진다.
3. 방어 가능한 마지막 자리는 “frontier 난이도 + 정답이 사적인” 사분면이다. 거기 들어가 화려하지 않은 변환 작업(translation)을 하고, 무엇이 “좋은 답"인지 직접 써내려가 그 분야의 표준을 정의하는 쪽이 이긴다.

비관론의 논리

2026년 중반 투자자판 “AI 정신증"은 투자할 게 아무것도 없다는 절망이다. 돈을 전부 Anthropic과 Nvidia에 넣고 집에 가야 한다는 식이다. 논리는 단순하다. 모델이 모든 걸 계속 더 잘하게 되면, 그 위에 세운 회사는 전부 흡수를 기다리는 얇은 래퍼이고, 끝까지 살아남는 가치는 컴퓨트와 frontier 가중치뿐이라는 것이다. Guo는 이 절망이 멍청하지는 않다고 인정하면서도, 자신은 그것을 한 번도 느낀 적이 없다고 말한다.

측정할 수 있는 것은 학습할 수 있다

비관론이 가장 강하게 기대는 사례가 소프트웨어다. Devin은 2024년에 표준 소프트웨어 벤치마크의 13%를 풀며 출시되어 대체로 무시당했다. 1년 반 뒤 최고 에이전트는 80%대 후반에 도달했고, 골드만삭스와 미군 내부에서 실제 일을 한다. 거의 모두가 같은 잘못된 교훈을 얻었다. “모델이 소프트웨어 엔지니어링을 먹었다"는 것이다.

하지만 모델이 삼킨 것은 엔지니어링에서 가장 잘 측정되는 부분이었을 뿐이다. MIT의 Mert Demirer 연구진이 10만 명 이상의 개발자를 대상으로 수치를 냈다.

작성은 싸졌다. 나머지는 여전히 사람을 거치고, 그게 중요하다. 물론 순효과는 그래도 놀랍다.

벤치마크는 측정할 수 있는 것이고, 측정할 수 있는 것은 학습 대상으로 삼을 수 있다. 그래서 코딩 에이전트가 가장 먼저 성숙했다. 컴파일러가 공짜 검증기이고, 테스트 스위트가 공짜 검증기다. 답이 스스로를 공짜로 검사해 주면, 그 검사를 이길 때까지 갈아 넣으면 된다. 하지만 테스트를 통과했다는 사실이, 그 변경이 10년 묵은 코드베이스에 옳은 변경이었는지는 결코 말해 주지 않는다. 그 모듈이 존재하는 문서화되지 않은 세 가지 이유, 아무도 작성을 인정하지 않는 cron job으로 간신히 버티는 배포 파이프라인 같은 것 말이다.

느린 해자 — 조직의 속도로 움직이는 것들

그런 종류의 정확성은 리더보드에서 읽어 낼 수 없고, 사실 어디에서도 읽어 낼 수 없다. 그렇게 복잡한 시스템이 작동하는지는 세상에 충분히 오래 돌려 봐야 알 수 있고, 더 똑똑한 모델이 세상을 더 빨리 돌게 만들지는 못한다. Google 규모의 시스템을 단위 테스트하고 초록색 체크를 믿는 사람은 없다. 수년간 실제 부하를 견뎌 냈기 때문에 믿는 것이다. 이런 정확성은 사적일 뿐 아니라, 자본이 무너뜨릴 수 없는 느린 종류의 해자다. 낙관론자조차 시계를 건너뛸 수 없다고 인정한다. OpenAI의 추론 모델을 개척한 Noam Brown은 1년 지평에서 에이전트를 평가하는 유일하게 확실한 방법은 그것을 1년 동안 돌려 보는 것일지 모른다고 썼다.

Gabe Pereyra의 말처럼, 진짜 자동화는 모델만 좋아지는 게 아니다. 제품, 모델, 워크플로우, 회사가 함께 움직이는 것이고, 그중 셋은 조직의 속도로 움직인다.

사람을 움직이는 일은 어떤 벤치마크도 건드리지 못한다. 회의적인 파트너가 일하는 방식을 바꾸게 만드는 것, 재구축 내내 팀을 붙잡고 가는 것.

CEO를 채용할 때 사람을 다루는 능력이 분석적 역량 못지않게 중요한 이유다. 피드백은 모호하고, 지평은 수년이며, 신뢰는 사람에게 속한다. Guo가 아는 모든 회사는 엔지니어 전원에게 frontier 코딩 모델을 쥐여 줬지만, 그 속도에 근접하게 엔지니어링 조직을 바꾼 곳은 한 곳도 없다. 도입은 한 분기가 걸렸고 토큰 성장은 마법 같았지만, 재구축은 수년이 걸리고 있다.

legible한 일은 두 방향에서 먹힌다

측정 가능한 것이 곧 떠나는 것이다. 리더보드에 올릴 수 있는 것은 학습 대상으로 삼을 수 있으니, 측정 가능한 것은 이미 commodity로 가는 길 위에 있다. Rippling의 Matt MacInnis는 이것을 돈으로 표현한다. 일반적인 질문에 답하는 데 쓴 토큰은 거의 가치가 없다. 누구의 모델이든 답할 수 있기 때문이다. 반면 당신 회사의 데이터를 추론하는 데 쓴 토큰은 훨씬 값지다. 그럴듯한 일이 아니라 당신이 실제로 원하는 일을 하기 때문이다.

legible한 일은 두 방향에서 먹힌다.

• 아래에서 — 포화(saturation): 어떤 일을 싸게 검증할 수 있게 되면, 구매자는 어느 모델이 했는지 묻기를 멈추고 비용이 얼마인지 묻기 시작한다. 그 일은 그 주에 가장 싼 오픈/증류 모델에게 넘어간다.
• 위에서 — 흡수 frontier(absorption frontier): 랩은 모델이 자기 자신의 발판(scaffolding)을 삼키게 만들려 한다. 검색, 싼 호출과 비싼 호출 사이의 라우팅, 도구 사용, 심지어 추론 정책까지 — 모델을 감싸던 모든 장치가 가중치 안으로 끌려 들어가, 결국 래퍼가 곧 모델이 된다.

마진 압력은 반대 방향으로도 작용한다. 범용 에이전트는 무엇에든 대비해야 해서 비싸지만, 집중된 애플리케이션은 하나의 워크플로우를 토큰 소비의 일부만으로 돌아갈 때까지 튜닝할 수 있다. 그리고 토큰을 파는 랩과 달리, 그 차액을 자기가 가진다.

학습 불가능한 사분면 (the untrainable corner)

어떤 일에든 두 가지를 물을 수 있다. 그 정확성은 사적이고 확립하기 비싼가 — 누군가의 데이터 안에만 존재하는 종류의 진실인가? 그리고 그것은 들어갈 수 없는 시스템 안에 벽으로 막혀 있는가? 이것을 과제의 포화도와 교차시키면 2x2가 나온다.

상금은 마지막 코너다. frontier 난이도이면서 정확성이 오직 사적으로만 존재하는 일. AI 네이티브 선구자들을 호스팅하는 추론 클라우드를 보면, 압도적 다수의 토큰이 범용 오픈 모델이 아니라 커스텀 모델에서 생성된다.

그 마지막 코너로 들어가는 벽의 높이는 제각각이다. 개인 개발자의 장난감 코드베이스는 이식 가능하고 표준화돼 있어 올라야 할 벽이 낮다. 은행의 프로덕션 시스템은 둘 다 아니다. SWE-Bench Verified에서 2% 더 똑똑하다고 root 권한을 얻지는 못한다.

문에는 자물쇠와 빗장이 있다 — 권한과 책임

능력은 많은 것을 먹지만, 더 나은 모델이 사적인 ground truth를 공개로 만들지는 못한다. 모델은 라이선스를 쥐지도, 책임에 서명하지도, 회사의 파일을 소유하지도 못하고, 답이 틀렸을 때 소송당하는 당사자가 될 수도 없다. 여기서 병목은 지능이 아니다. 권한(permission)과 책임(accountability) 이다.

그 문에는 자물쇠와 빗장이 있다.

• 자물쇠는 환경이다. AI가 유용한 일을 했는지 검증할 권리는, 보안 검토와 통합과 결과에 이름을 건 계약을 거쳐 그 시스템 안에서 신뢰받은 뒤에야 주어진다.
• 빗장은 사용자다. 이제 미국 의사 다수가 매일 OpenEvidence를 연다. 어떤 컴퓨트로도 그 습관을 살 수 없다. 랩이 내일 완벽한 의료 모델을 학습시켜도, 의사의 습관이나 UCSF의 의사결정 흐름 안으로 들어갈 길이 없다. 신뢰는 관계 위에서, 사용자의 묵인과 함께 천천히 쌓이는 것이지, 그것을 지워 버리는 경사하강으로 쌓이지 않는다.

이것이 바로 그 일 자체다. 애플리케이션은 화려하지 않은 일 — 회사의 사적 현실을 모델이 행동할 수 있도록 배열하고, 모델에게 행동할 도구를 쥐여 주고, 고객과 함께 그 인력의 현실을 바꾸는 일 — 을 함으로써 학습 불가능한 코너에서 자리를 번다. 그 번역을 가져오는 회사는 베끼기 어렵고, 번역은 결코 끝나지 않는다.

사례 — 화이트슈 로펌의 M&A

한 최상위 로펌의 M&A 부문 하나만으로도 연간 1천 건에 가까운 딜을 다룬다. 수백 명의 어소시에이트가 각자 클라이언트 파일을 데스크톱에 내려받아 범용 에이전트에게 훑게 할 수는 없다. 기밀 유지를 비롯한 수십 가지 이유 때문이다. 설령 그럴 수 있다 해도 얻는 것은 파편 — 한 어소시에이트의 수정 하나하나일 뿐, 딜 전체가 어떻게 흐르는지에 대한 시야는 없다.

의미 있는 신호는 딜의 수준에 산다. 딜에는 형태가 있다. M&A라면 NDA, 텀시트, 실사, 인수계약서, 부속계약, 클로징 체크리스트. IP 소송이라면 신청서, 디스커버리, 선행기술, 다시 신청서. 각 실무 영역은 저마다의 형태를 가지며, 변호사도 도구도 영역을 가로질러 호환되지 않는다. 그리고 로펌이 실제로 푸는 문제는 그 모든 것보다 한 단계 위에 있다. 최상위 파트너가 수백 건의 사안을 동시에 돌리면서 새 일을 끌어오고 어소시에이트를 훈련시키듯, 모든 실무 영역을 병렬로 운영하는 것이다. 그런 로펌을 변환하는 일은 eval 하나 쓸 수 있는 단일 과제가 아니다.

illegible한 가치는 팔기도 어렵다 — 결과를 판다

측정 불가능한 가치는 commoditize하기 어려운 바로 그 이유로 팔기도 어렵다. 회사는 AI가 자기 운영을 바꿀지를 벤치마크 이상으로 바깥에서 판단할 수 없다. 그래서 가장 강한 사업들은 외부에 증명하려는 시도를 멈추고, 안으로 들어가서, 결과에 가격을 매긴다.

• Sierra는 에이전트가 고객의 문제를 해결할 때 청구하고, 문제를 사람에게 넘기면 청구하지 않는다. 가격이 곧 평가가 된다. 이것은 Sierra가 “해결됨(resolved)“의 정의를 소유하기 때문에만 작동한다.
• Cognition의 Devin은 소프트웨어에서 같은 수를 둔다. “성능 보증(performance guarantee)“인데, 이는 당신이 신뢰받고 들어가 있는 시스템의 결과에 대해서만 제공할 수 있다.

토큰을 서빙하는 층 — 모두가 순수한 commodity라 부르길 좋아한 그 층 — 조차 commodity처럼 행동하지 않는다. 최고의 AI 네이티브 회사들은 서빙을 한두 개 공급자(Baseten 또는 Fireworks)에 집중시킨다. 토큰당 비용은 일정에 맞춰 commoditize되지만, 실제 트래픽에서의 신뢰성과 희소한 컴퓨트에 대한 보장된 접근은 그렇지 않기 때문이다. 추론에서 commodity처럼 행동하는 부분은 가격뿐이다.

랩이 너를 죽이지 않는 이유

자주 제기되는 반론이 있다. 랩이 너의 공급자인데, 왜 자기 1차 제품을 원가 이하로 돌려 너를 말려 죽이거나, API 접근을 끊고 시장을 직접 가져가지 않겠느냐는 것이다. 이것이 절망의 진짜 버전이다. 그런데 이 논리는 모델 층이 1인용 게임일 때만 성립한다. 분명히 그렇지 않다. 그것은 6개월 뒤처진 국제 선수들과, 작년보다 5배 커진 개발 리그가 있는 “3.5자 데스매치"에 가깝다. 고객은 공급자들 사이의 경쟁을 원하고, 랩은 어느 한 애플리케이션의 죽음보다 시장 점유율을 더 원한다.

랩이 정면으로 경쟁하는 시장에서 이것을 볼 수 있다. 소비자 챗에서 최고 모델이 그냥 이긴 적은 없다. ChatGPT는 수년의 실제 경쟁 속에서 선두를 지켰고, 지금 잃는 점유율은 더 나은 모델이 아니라 Android와 Search의 힘으로 Gemini에게 간다. 예측 시장(과 인터넷 분위기)이 현재 최고 모델로 평가하는 Anthropic은 소비자 챗에서 거의 변수가 아니며, 대신 엔터프라이즈와 코딩에서 사업을 세웠다. 가장 중심적인 애플리케이션에서조차 더 나은 모델이 경쟁자의 사용자를 빼앗지 못한다면, 병원의 기록이나 은행의 책임을 통합으로 뚫지도 못한다.

무엇이 “좋은 답"인지 쓸 권리

바깥에서 채점할 수 없는 일이라면, 안에 있는 누군가가 좋은 답이 무엇인지부터 정해야 한다. 그 결정이 게임 전체다. 그런 결정이 충분히 쌓여 글로 적히면 그게 곧 벤치마크가 된다. Harvey는 법률용 벤치마크를, Sierra는 음성 에이전트용 벤치마크를 발표한다. 한 분야에서 “좋음"을 정의할 권리는, 그 분야가 이미 당신을 쓰고 있을 때 번다. 이 회사들은 그것을 실제 도입의 분투를 통해 얻었다.

진짜 돈을 결정하는 평가는 사적이고 회사마다 다르다. 이 회사가, 이런 종류의 사안에서, 무엇을 좋은 일로 받아들일 것인가이며, 법의 깊이가 어떤 공개 테스트도 압도하기에 전혀 끝나지 않았다. 이것은 사실 측정이 아니다. 무엇이 참이고 무엇이 좋은지에 대한 판단을, 모두가 그에 비추어 측정당하는 표준이 될 때까지 적어 내려가는 일이다. 그 권위는 이미 그것이 앉아 있던 곳에 떨어지는 경향이 있다. 선임 변호사가 법률 벤치마크를 쓰고, 안전한 임상 답의 정의는 의사에게 떨어지며, “해결됨"은 이미 고객을 소유한 회사가 그렇다고 말하는 무엇이든이 된다.

가장 의외였던 것은 — 방어보다 공격이 어렵다

내가 가장 곱씹은 대목은 글의 끝, 방어와 공격을 가르는 부분이다.

흡수 frontier는 계속 올라간다. 우리가 일의 더 많은 부분을 측정하는 법을 계속 배우고, 측정 가능해진 것은 먹히기 때문이다. 학습 불가능한 땅은 그 위에 선 사람 발밑에서 줄어든다. 그래서 방어 가능한 자리를 찾아 쉴 수 없다. 아직 채점할 수 없는 쪽으로 계속 발을 디디고, 끊임없이 다시 underwrite해야 한다. 좁은 과제에서 사적 데이터와 자기 eval로는 frontier까지 학습시켜 범용 모델을 이길 수 있고, 그 특화 모델이 해자의 일부가 된다. 반대로 범용 모델에서 경쟁하는 것은 가장 많은 컴퓨트를 가진 자에게 지는 자본 전쟁이다.

그러나 그 모든 것은 방어다. 더 어려운 것은 공격, 곧 애초에 무엇을 만들지 고르는 일이다. Guo는 그것이 자신이 1년 내내 찾는 일이며, 1년에 세 번쯤 발견한다고 말한다.

모델은 거기서 아무 도움이 안 된다. 가리키는 곳이라면 무엇이든 하지만, 무엇을 가리킬 가치가 있는지는 말해 주지 못한다. 그건 벤치마크로 만들 수 없고, 그래서 학습시킬 수 없다.

이것이 기존 강자들이 모든 것을 가져가지 못하는 이유이기도 하다. 그들은 가진 땅을 지키고, 다음 것은 나머지 우리보다 먼저 쓰임새를 찾아낸 누군가에게서 온다. 어쩌면 의도(intent)는 컴퓨트보다 더 희소한 입력일지 모른다.

비관론은 절반은 옳다. 얇은 래퍼 층은 정말로 흡수되고 있고, 오늘 회사처럼 보이는 것의 상당수가 얇은 래퍼다. 다만 그것이 무엇을 남기는지에 대해서는 틀렸다. 지능은 계속 싸지고, 가치는 모델이 닿을 수 없는 몇 안 되는 곳으로 계속 미끄러진다. 학습 불가능한 것은 역사를 가진 가치다. 그러니 그런 곳 하나에 들어가, 화려하지 않은 번역을 하고, 거기서 무엇이 좋은지를 적기 시작하라. 누군가는 반드시 그렇게 할 것이기 때문이다.

출처

Sarah Guo, “The Untrainable”, Conviction (Substack), 2026년 6월 10일. 원문: https://saranormous.substack.com/p/the-untrainable

원문에는 본문 도식이 없어 상단 배너 이미지 한 장만 인용했다.