3줄 요약

  1. 2026년 6월, Anthropic이 Fable을 공개한 직후 zero_goliath가 X에 올린 장문 에세이. Fable에서 초지능으로 가는 4년치 경로를 컴퓨트 → 데이터 파이프라인 → 실제 회사 운영 → 재귀적 자기 개선 네 단계로 정리한다.
  2. 컴퓨트 공급은 2030년까지 몇 배 늘어날 것으로 보지만 진짜 병목은 데이터 쪽이다. o1 이후 등장한 RLVR(검증 가능한 보상 강화학습)은 코딩처럼 결정적 채점이 가능한 영역에만 유효하고, 글쓰기·경영처럼 채점이 어려운 영역으로 갈수록 테스트 제작 단가가 가파르게 오른다.
  3. 해결책은 AI가 실제 회사를 운영하게 두고 매출·이탈률 같은 현실 지표로 직접 RLVR을 돌리는 것이다. 분기당 5천~1만 개 마이크로컴퍼니, 회사당 운영·컴퓨트 비용 2만 5천~10만 달러 규모면 Anthropic의 2026년 예산으로 충분히 굴릴 수 있다. 이 자금 생성기가 다시 컴퓨트를 사서 재귀적으로 더 똑똑한 AI를 만들어내고, 최종적으로 초지능에 닿는다는 시나리오.

스케일링 법칙 — 컴퓨트는 부족하지 않다

성능은 학습에 투입된 컴퓨트와 고품질 데이터의 양에 따라 예측 가능하게 증가한다. 글로벌 AI 칩 생산량을 그래프로 그리면 컴퓨트 용량은 빠르게 늘어나는 중이다. Anthropic의 ARR은 2025년 말 90억 달러에서 2026년 5월 470억 달러로 성장했고, 그 상당 부분이 컴퓨트 CAPEX로 들어가고 있다.

4년 뒤를 예측하는 일이라 오차 막대가 크지만, 2030년까지 글로벌 컴퓨트 용량이 몇 배 늘어나리라는 전망은 충분히 그럴듯하다. 다만 2028~2029년에는 칩 팹 병목이 예상된다. 현재 모델이 이미 상당히 강력하므로, 앞으로 몇 년의 컴퓨트 증가만으로도 경제 전반을 바꾸고 이런 예측 자체를 무용하게 만들 모델을 만드는 데 충분하다고 글쓴이는 본다.

진짜 병목은 다른 곳에 있다.

데이터 공급망 — o1 이전과 이후

OpenAI o1 이전까지 모델은 단순히 텍스트로 사전학습·파인튜닝되었다. 입력이 주어지면 다음 토큰을 예측하도록 학습했다. 이 텍스트 데이터는 인터넷·오픈소스에서 긁어모으거나, AI 회사가 사람에게 비용을 지불해 고품질 답변을 받아내는 방식으로 모았다. 합성 증강도 가능했지만 결국 인간 출력이 씨앗이었다. 데이터 단가가 비싸서 “곧 데이터가 고갈된다"는 예측이 한동안 우세했다.

o1은 그 예측의 허점을 드러냈다.

어떤 작업의 경우, 이상적인 답을 사람이 직접 쓸 필요는 없다. 모델의 답이 맞았는지 확인할 방법만 있으면 된다. 어려운 코딩 문제를 던지고, 모델이 천 번 풀어보게 하고, 각 시도를 테스트로 돌리고, 통과한 시도들로 학습한다.

같은 셋업을 모델 롤아웃 전반에 걸쳐 반복 실행할 수 있기 때문에, 잘 설계된 문제 한 개가 사람이 직접 쓴 정답 한 개보다 훨씬 많은 감독 신호를 만들어낸다. AI 회사들은 이제 개별 정답이 아니라 피드백을 생산하는 기계를 사들이고 있다.

Mercor, Datacurve, Mechanize 같은 회사들이 LLM을 가상 컴퓨터에서 돌리며 모델이 작업을 얼마나 잘 수행했는지 채점하는 프로그램을 작성한다. AI 랩들은 이 테스트들이 공정하고 채점이 가능한 한 결정적이도록 설계되기를 원한다. 그렇게 만든 테스트로 모델을 더 좋게 만든다.

이 덕분에 오늘날의 모델은 결정적이고 공정하게 채점 가능한 작업, 특히 소프트웨어 엔지니어링 상당 부분에서 매우 잘한다.

두 가지 결함

하지만 이 방식은 두 가지 결함도 드러냈다.

첫째, 테스트 제작의 한계 비용이 작업 복잡도에 비례해 증가한다. 인간은 모델이 실제로 어려워하는 작업을 설계해야 하면서 동시에 채점이 결정적이고 공정한지 꼼꼼히 확인해야 한다. 작업이 인간 수준을 크게 넘어설수록 이 테스트 제작은 더 비싸진다. 매우 복잡한 작업의 테스트를 만들려면 사람으로 팀을 짜야 한다.

둘째, 결정적 채점이 어려운 영역은 개선도 어렵다. 글쓰기가 대표적이다. 글쓴이는 본문 한 단락을 LLM에게 직접 쓰게 한 뒤 이렇게 말한다.

이 문단은 LLM이 쓴 것이고, 아마 알아챘을 것이다. 명료하고 구조적이고 유능하지만, 동시에 어딘가 일반적인 결로 매끄럽다. 모델이 문장을 만들지 못해서가 아니다. “좋은 글” 자체가 채점하기 어렵기 때문이다.

연구자들은 인간 선호도, LLM 심사자, 보상 모델로 근사하지만, 이 프록시들은 결국 일관성·균형·예측 가능성에 보상을 준다. 그래서 모델은 세련되어 보이는 글에 점차 능해지지만 여전히 기계가 쓴 티가 나는 글에 머문다.

이 결함 때문에 프런티어 모델은 코딩에는 매우 능숙하지만, 인간에게 너무 어렵지 않은 작업에는 의외로 서툴다. Vending-Bench(AI가 사업을 얼마나 잘 운영하는지 평가)에서 Fable 5는 다른 벤치마크를 휩쓸면서도 상대적으로 부진하다.

CEO도 엔지니어도, 결국 같은 문제

이 결함은 미래 시나리오에 직접 부딪힌다. Anthropic이 완전 자동화된 회사 수천 개를 띄워 재귀적 자기 개선 AI 개발 자금을 댄다고 가정하면, 그 자금 인쇄기들이 외부 세계의 복잡한 상황에서 좋은 결정을 내려야 한다는 전제가 따라온다. AI CEO는 고객·경쟁자·시장이 어떻게 행동할지에 대한 좋은 직관에 기댄 결정을 내려야 하는데, 이런 직관을 고립된 테스트로 만들어 학습시키기는 어렵다.

시뮬레이션 안에서 고객이 경쟁사 웹사이트의 스타일을 본 순간 느낀 감정을, 당신은 시뮬레이션할 수 있겠는가?

CEO만의 문제가 아니다. 프런티어 모델은 소프트웨어 엔지니어링과 그 부수 작업(문서화, 동료와의 커뮤니케이션)을 매우 잘 수행한다. 하지만 대부분의 인간 엔지니어를 완전히 대체하지 못하는 이유는, 인간 엔지니어가 학습 분포 밖의 취향 기반 결정을 자주 내려야 하기 때문이다.

최근 프런티어 모델에게 웹사이트를 만들게 하면, 사용자에게 보이는 UI 안에 사용자의 지시문을 명시적으로 언급하는 메타 코멘트를 넣는 경우가 있다. 모델은 이 행동이 바람직하지 않다고 학습받지 않았다. 이를 고치려면 후-학습 팀이 이 행동을 명시적으로 페널티 주는 채점 함수를 의도적으로 사용해야 한다. 수작업이고 인간이 개입해야 하는 과정이다.

해결책 — 현실에서 직접 점수를 받는다

오늘의 프런티어 AI 데이터 파이프라인은 인간이 만든 작업 시뮬레이션으로 모델을 학습시키고, 그 기술이 실제 일로 전이되기를 기대한다. 하지만 작업이 매우 복잡해질수록 사람이 일일이 실패 양상을 알아채고 테스트로 만드는 일이 비싸지고 오류가 늘어난다. 이 파이프라인이 가르칠 수 있는 한계에 닿으면 진보는 멈춘다.

그래서 다른 접근이 필요하다.

한 가지 후보는 현실에서 직접 피드백을 받아 채점하는 것이다. 사람이 예쁜 UI를 만들도록 모델을 가르치는 테스트를 일일이 설계하는 대신, Anthropic은 AI에게 회사 전체를 운영하게 두고 실제 성과로 채점할 수 있다. 회사의 UI가 추할수록 회사 수익이 줄고, 모델은 추한 UI를 만들지 않는 방향으로 학습된다.

물론 지금의 LLM에게 회사 전체를 맡기면 거의 다 파산할 것이다. 정보 가치 대비 비용이 너무 크다. 그래서 부트스트랩이 필요하다.

  1. 소규모 인간 팀이 회사를 운영한다. AI 에이전트 큰 그룹을 사람이 매니징한다.
  2. 매니저들의 결정과 그 근거 정보를 자세히 기록한다.
  3. AI 에이전트의 가상 트랜스크립트를 생성한다. 매니저들의 자리에 AI가 있었다면 어떻게 행동했을지 시뮬레이션한다.
  4. 이 트랜스크립트를 시드로 합성 데이터 파이프라인을 굴린다.

구체적으로는 이런 형태로 시작할 수 있다.

  • 컨설팅 숍을 차려 기존 회사의 전체 부서를 감사·자동화한다.
  • 전통 산업의 기존 회사 일을 더 효율적으로 수행해 그들을 도태시킨다.
  • 가장 강력한 모델은 API로 풀지 않고, 고객이 “AI 직원"을 통해서만 구매하도록 강제한다.

모델이 충분히 좋아져 운영하는 회사 중 일부 비율이 실제로 성공하면, Anthropic은 수천 개의 AI 운영 회사에 대해 직접 RLVR을 돌릴 수 있다. 매출, 성장률, 이탈률 같은 실세계 지표를 보상 신호로 쓴다. 마케팅 서브에이전트는 광고 캠페인 성과로 평가되고, 엔지니어 서브에이전트는 실제 사용자가 마주친 기술 문제로 채점된다. 이 채점 함수들은 또 다른 AI가 동적으로 정의할 수 있다.

규모와 비용 — 가능한 숫자

회사 단위 보상은 희소하다(sparse). 그래서 배치 크기가 커야 한다.

AI가 운영한 회사 중 1%만 의미 있는 성공 임계를 넘는다면, 5,000번 운영하면 약 50건의 성공이 나온다. 20,000번이면 약 200건. 노이즈에서 실제로 더 나은 전략을 분리해내기에 충분한 양이다. 비평가 AI가 트랜스크립트를 분석해 실패 원인을 추출하고, 성공·실패 모두를 새로운 시뮬레이션·피드백·학습 데이터로 변환한다.

진지한 버전의 프로그램이라면 분기당 5,000~10,000개 마이크로컴퍼니, 연간 20,000~40,000개. 회사당 운영·컴퓨트 예산이 25,000~100,000달러라면 연간 비용은 수억~수십억 달러. Anthropic의 예상 예산으로 충분히 가능한 규모다.

재귀적 자기 개선

자금 인쇄기가 굴러가기 시작하면 다음 단계는 더 똑똑한 AI를 학습시킬 더 많은 컴퓨트를 얻는 일이다. AI 자체가 더 효율적인 칩·데이터센터 설계를 연구할 수 있다. 병행해서, Anthropic은 인간을 동원해 컴퓨트 공급망을 확장하거나, 로봇 학습 데이터 수집과 실물 로봇 강화학습 창고를 운영할 수 있다. 글로벌 컴퓨트 용량을 키우고 더 똑똑한 AI를 학습시킨다.

하지만 그래도 여전히 LLM이다. LLM은 학습 분포 바깥의 작업에서 어이없는 방식으로 실패하는 경향이 있고, 새 아이디어를 컨텍스트에 쌓지 않고 학습하는 데에는 샘플 효율이 낮다. 인간 창의성을 넘어설 수 있을지도 불확실하다.

여기서 두 학파가 갈린다.

하나는 LLM의 이 근본적 한계가 중요하지 않다는 입장이다. LLM을 충분히 스케일업하면 재귀적으로 자기를 개선해 초지능을 만든다.

다른 하나는 LLM이 어떤 근본적인 방식으로 한계가 있어 초지능을 낳을 수 없다는 입장이다.

글쓴이는 컴퓨트가 충분하다면 전자가 옳다고 본다. 컨텍스트 한계는 샘플 비효율·연속 학습을 해결하는 대신 그냥 컨텍스트를 키워서 우회할 수 있다. 창의성은 모델이 한 인간의 평생 경험을 컨텍스트에 담아 사람을 시뮬레이션할 수 있게 되면 해결될지 모른다. 인간 지능이 모든 면에서 추월되고 나면, LLM은 물리적 현실에 근거한 자기 채점 함수를 직접 만들 수도 있다.

컴퓨트가 충분하지 않으면 Fable보다 똑똑하지만 전능하지는 않은 AI들과 한동안 같이 살게 된다. 거의 모든 컴퓨터 작업이 자동화되고 로봇이 곧 따라온다. 경제는 빠르게 성장하지만 — 어쩌면 인간을 노동에서 해방시키지만 — LLM의 분포 밖 창의성 부족이 혁신을 묶어둘 수 있다. 일부 질병 치료, AI 자체 데이터 파이프라인의 완전 자동화는 안 된다. 하지만 이 상황도 일시적이다. 경제 성장과 기술 진보가 더 많은 컴퓨트와 새 아키텍처를 만든다. 다 안 되면 AI가 인간 두뇌에 연결해 데이터를 채굴하면 된다.

두 시나리오 모두에서, 막대한 수익을 내는 AI 에이전트들이 재귀적으로 더 똑똑한 AI 개발 자금을 대고, 그것이 초지능으로 이어진다.

가장 흥미로운 지점

이 글에서 가장 적나라한 가정은 본문 후반에 한 줄로 박혀 있다.

가장 하중을 견디는(load-bearing) 가정은, 이제 매우 유능한 AI 소프트웨어 엔지니어가 있으니 Anthropic이 매우 유능하고 수익성 있는 AI 임원을 학습시킬 수 있게 된다는 것이다.

이 가정이 무너지면 시나리오 전체가 무너진다. 그래서 글쓴이는 미리 반박을 받아둔다. 임원의 역할을 자동화하기에는 데이터 수집 비용이 너무 비싸지 않은가? 그의 답은 — 비싸겠지만, 매출 곡선이 그만큼 가파르니 돈을 더 쓰면 된다. The Information에 따르면 2025년 9월 시점에 Anthropic은 RL 환경에 향후 1년간 10억 달러 이상을 쓰는 안을 논의 중이었고, 매출 성장세를 감안하면 100억 달러는 충분히 감당 가능하다는 식이다.

이 글의 진짜 베팅은 두 단계로 갈라진다.

1단계 — 화이트칼라 자동화 → 자금 인쇄기. 이건 이미 일어나고 있다는 입장이다. Fable이 인간이 할 수 있는 거의 모든 컴퓨터 작업을 수행한다는 전제는 글의 도입부에서 사실로 깔고 시작한다. 1년 전이라면 의심할 만했지만 지금은 아니라는 것.

2단계 — 자금 인쇄기 → 임원 자동화 → 재귀적 자기 개선. 이게 비싼 베팅이다. 핵심은 현실 신호를 보상으로 직접 쓰는 RLVR이 가능한가다. 1%만 성공하는 5,000개 회사 배치라는 숫자는, 한 번 읽으면 이상하게 들리지만 두 번 읽으면 RLVR의 논리적 확장으로 자연스럽다. 코딩 문제 천 번 풀어 통과한 시도로 학습하던 패턴을, 회사 천 개 운영해 흑자가 난 케이스로 학습하는 패턴으로 옮기는 것뿐이다. 차이는 단가다 — 코딩 시도가 센트 단위라면 회사 운영은 수만 달러 단위다.

이 글의 함의를 무시할 수 있는 가장 손쉬운 길은 “회사 운영이 너무 비싸서 어차피 안 된다"는 것이다. 글쓴이는 이 반박을 비용 추정으로 정면 돌파한다. 분기당 5천~1만 개, 연간 수억~수십억 달러. Anthropic의 470억 ARR 안에서 충분히 굴릴 수 있다는 숫자.

그리고 한 가지 더, 글 맺음의 톤이 흥미롭다. 이게 좋은 미래인지는 모르겠다, 전환의 고통이 얼마일지 모르겠다, Yudkowsky의 실존적 위험이 옳은지도 모르겠다 — 글쓴이는 자기 시나리오의 바람직함에 대해서는 의도적으로 판단을 보류한다. 그가 단언하는 것은 더 좁은 명제 하나다.

프런티어 AI 회사들은 복잡한 일을 수행하는 모델을 학습시키는 일에 점점 더 능해지고 있고, 이 과정을 계속 스케일업할 경제적 동기는 엄청나다. 매출 숫자는 진짜다. 컴퓨트·데이터 파이프라인은 자리를 잡아가고 있다. 세상은 매우 빠르게 매우 달라질 가능성이 높고, 대부분의 사람은 그 속도에 준비되어 있지 않다.

이 마지막 톤이 글 전체에서 가장 무겁다. 어떤 가치 판단도 일단 옆에 두고, 현실의 동학과 자금 흐름만으로 추론해도 결론은 같다는 식의 글. 시나리오가 그럴듯한지 따지기 전에, 이 글의 추론 구조 자체가 — 다른 모든 도덕적·인식론적 변수를 제거한 뒤에도 같은 곳에 도착하는 — 일종의 불가역적 추론 게이트로 작동한다.

출처