Policy on the AI Exponential

3줄 요약

1. Anthropic CEO 다리오 아모데이가 2026년 6월 발표한 정책 에세이다. AI의 지수적 발전과 느리게 움직이는 정책 기구 사이의 간극을 <반지의 제왕>의 호빗과 트리비어드에 빗대어 진단한다.
2. 핵심 진단은 투명성 단계가 끝났다는 것이다. Claude Mythos Preview가 드러낸 사이버 위험으로 AI가 국가 전략급 기술임이 입증되었으므로, FAA(연방항공청) 모델의 구속력 있는 사전 테스트·감사 규제로 넘어가야 한다고 주장한다.
3. 규제와 공공 안전, 거시경제와 세제, 과학 혁신 가속, 국가 권력과 시민 자유, 민주주의 진영의 지정학 전략까지 다섯 영역의 정책 제안을 내놓으며, Anthropic은 프런티어 모델 테스트 법안과 고용 충격 대응 프레임워크에 재정 지원을 약속했다.

트리비어드와 호빗: 속도의 불일치

에세이는 <반지의 제왕>의 곁가지 이야기로 시작한다. 호빗들이 숲을 지키기 위해 트리비어드를 깨우려 하지만, 그는 다른 나무에게 인사하는 데만 하루가 걸리는 존재다. 아모데이는 AI와 정치 제도의 교차점이 이와 비슷하다고 본다.

• AI는 4년 만에 코드 한 줄을 겨우 쓰는 수준에서 주요 AI 기업 코드의 대부분을 작성하는 수준으로 발전했다.
• 스케일링 법칙은 10년 이상의 경험적 증거를 갖고 있고, 1~2년만 더 지속되면 “데이터센터 안의 천재들의 나라"라 부르는 Powerful AI에 도달할 가능성이 크다.
• 반면 입법은 수년이 걸린다. 의회가 움직이는 사이 AI는 장난감에서 천재들의 나라로 넘어갈 수 있다.

그동안 안전 진영은 선택지를 보존하는 정책(투명성 입법, 칩 수출 통제, 노동 영향 데이터 수집)에 집중해 왔다. 그러나 최근 몇 달 사이 증거가 부정할 수 없는 수준이 되었다는 것이 이 에세이의 출발점이다. 가장 상징적인 사례로 Claude Mythos Preview와 프런티어 모델의 사이버 보안 위험을 든다. 금융, 핵심 인프라, 국가 안보를 교란할 잠재력이 확인되었고, 생물학적 위험과 AI 자율성 위험이 뒤따를 수 있다고 본다.

이 에세이와 함께 Anthropic은 프런티어 모델 테스트 법안 제안과 고용 충격 대응 정책 프레임워크를 발표했고, 상당한 재정 지원을 제공할 계획이라고 밝혔다.

1. 규제와 공공 안전: 투명성에서 FAA 모델로

2023~2024년에는 위험의 형태가 불분명해 사전 입법이 빗나갈 가능성이 높았다. 그래서 Anthropic은 당시 투명성 접근을 택했고, 캘리포니아 SB 53, 뉴욕 RAISE, 일리노이 SB 315 통과를 지원했다.

이제는 위험이 분명히 도착했으므로 구속력 있는 규제로 넘어갈 때라고 선언한다. 현 단계의 적절한 유추는 자동차, 항공기, 의약품이다. 현대 경제에 필수적이지만 잘못 설계되면 많은 사람을 죽일 수 있는 기술이다. 따라서 FAA 같은 기관을 모델로 삼아야 한다는 것이 핵심 제안이다.

Anthropic의 법안 제안 요소는 다음과 같다.

언젠가 가장 강력한 AI가 항공기보다 무기화 가능한 핵물질에 가까워지면 더 공격적인 조치가 필요할 수 있지만, 지금은 오늘 출현하는 위험에 맞는 정책을 설계하면서 대응을 빠르게 끌어올릴 기반을 다지는 것이 우선이라고 본다.

2. 거시경제와 세제: 성장이 아니라 분배가 문제가 되는 세계

기존 경제 정책 논쟁의 전제는 경제 성장이 취약하고 달성하기 어렵다는 것이었다. 아모데이는 Powerful AI가 이 전제를 뒤흔들 수 있다고 본다. AI가 대부분의 인지 작업을 인간보다 잘하게 되면 과학·기술·운영 효율의 가속으로 매우 빠른 성장이 가능해지지만, 같은 이유로 이전 기술보다 더 일반적인 인지 노동 대체재가 되어 노동 시장에 더 크고 더 지속적인 교란을 일으킬 수 있다. 그가 우려하는 시나리오는 경제가 “초성장·초불평등 설정에 고착되어 빠져나오기 어려운 세계"다. 그런 세계의 과제는 성장 유인이 아니라 모두가 혜택을 나누는 방법이 된다.

오해가 많은 주제라며 두 가지를 명확히 한다.

첫째, 지속적 고용 상실은 바람직하지 않고 위험하며, 최소화하거나 막기 위해 모든 노력을 해야 한다. 경고해 온 이유는 정책 입안자와 민간이 적응할 최선의 기회를 갖게 하기 위함이지 “파멸의 예언자"가 되려는 것이 아니다. 한 사람이 10억 달러 기업을 만들 수 있게 되는 등 새 경제적 기회도 열리겠지만, 모든 노력에도 불구하고 AI가 상당한 지속적 고용 상실을 일으킬 가능성, 그것이 인간 인지를 폭넓게 복제하는 이 기술의 내재적 속성일 가능성을 인정해야 한다.

둘째, 대응은 경제적 부양과 함께 의미·목적·주체성의 문제를 모두 다뤄야 한다. 후자가 궁극적으로 더 중요하지만 이는 사회 전체가 풀어야 할 문제이고, 정책의 역할은 고용 상실 속도를 늦추고 피해자를 경제적으로 부양하여 그 작업의 시간을 버는 것이다.

제안하는 정책 개입:

• 측정과 추적. 정확한 측정 없이 좋은 정책은 나오기 어렵다. Anthropic은 1년 반 가까이 Economic Index를 운영해 왔고, 정부는 기업이 접근할 수 없는 데이터로 AI 고용 충격 추적 통계를 크게 확장할 수 있다.
• 고용 친화 인센티브. 임금 보험(낮은 급여의 새 직장으로 옮길 때 차액 보전), 해고 자제 세제 혜택, 직업 훈련 보조금, 고용 매칭 인프라. 이런 정책의 비용과 시장 비효율은 AI발 생산성 향상으로 상쇄될 가능성이 높으므로 기꺼이 감수해야 한다.
• 장기 거시경제 부양. 노동 수요가 영구적으로 하락하면 인센티브를 넘어 노동 인구의 상당 부분에 대한 장기 소득 지원이 필요해진다. 관련 기업 과세나 자본이득세 인상으로 재원을 마련하는 보편기본소득, 보편 자본 계좌 등이 수단이다. 빠른 성장이 공유 번영의 세원을 만들어야 한다.

데이터센터 전기료 문제에 대해서는 AI 기업이 인상분을 흡수해야 한다는 입장이며 Anthropic은 이미 그 서약을 했다. 데이터센터를 향한 대중의 적대감은 AI에 대한 더 넓은 경제적 불안의 상징적 배출구라고 해석한다.

3. AI의 긍정적 영향 가속: 다운스트림 규제는 반대 방향의 문제

AI 자체와 달리, AI가 가속할 다운스트림 기술(바이오의학, 에너지, 소재과학)에서는 규제가 위험을 놓치는 것보다 진보를 늦추는 것이 더 걱정이라고 본다. 느린 혁신 속도에 맞춰 설계된 규제 시스템이 AI가 가져올 신제품의 홍수를 감당하지 못한다는 것이다.

바이오의학을 예시 영역으로 든다. AI는 신약 후보의 파이프라인 진입 속도를 크게 높이고, 효과 크기와 안전성 프로파일을 개선하고, 한 번도 치료된 적 없는 질병의 후보 물질을 개발하고, 새로운 치료 양식 전체를 빠르게 만들어낼 가능성이 높다. 그런데 FDA와 EMA의 일반적인 승인 소요는 7~8년이고, 이는 신약 후보가 대개 실패하고 안전 문제가 많다는 비관적 가정 위에 설계된 것이다. 개혁 없이는 AI가 이 시스템을 정체시키거나 과부하시킬 뿐이다.

제안은 AI 시뮬레이션·분석이 기존의 비싸고 느린 실험을 대체할 수 있는 영역의 수용 기준을 지금 만들어 두라는 것이다.

• AI 기반 약력학·약동학(PD/PK) 모델링
• 독성 예측으로 다종 동물 독성 시험 필요 축소
• 정밀한 용량 선택으로 시험 용량 범위 축소
• 대규모 데이터셋 분석을 통한 바이오마커 검증
• 임상시험의 합성 대조군으로 모집 인원 축소
• 대리 평가변수 개발 (노화·신경퇴행 분야에서 특히 중요)

예측이 맞다면 “갑자기 매우 잘 듣는 개입"이 다수 등장할 것이므로, 규제 시스템은 이를 진지하게 받아들일 준비를 갖추고 과도한 회의주의 자세를 취하지 말아야 한다고 덧붙인다. 바이오의학 가속은 AI의 혜택을 키울 뿐 아니라 생물 방어와 정신 건강 개선을 통해 위험 완화에도 기여할 수 있다.

4. 국가와 시민 자유: 권력 균형의 재설계

모든 정부 체제는 국가 권력과 그 한계의 문제를 안고 있다. AI는 이 균형을 무너뜨리는 동시에 판돈을 극적으로 키운다. 잘못된 손에 들어간 Powerful AI는 궁극의 독재 도구가 될 수 있고, 기존 법적·헌법적 보호 장치는 이 위협에 충분히 대비되어 있지 못하다. 지능이 권력으로 환산되는 막대한 수익률과 AI의 빠른 발전 속도가 결합하면, 다양한 위험 행위자에 의한 기습적 권력 장악의 조건이 갖춰진다는 것이 그의 우려다.

위험의 공통 형태는 AI가 기존의 민주적 감시 메커니즘을 우회하면서 갑작스럽게 막대한 권력을 부여하는 것이다. 불법 명령에 복종하는 완전 자율 드론 군대, 시민 모두의 내밀한 삶을 추론해내는 감시 AI가 그 예다. 제안하는 정책 아이디어는 다음과 같다.

• 완전 자율 무기의 책임 규칙. 자율 무기와 이를 지휘하는 시스템은 맹목적 명령 복종 대신 헌법적·지휘 계통의 책임 메커니즘(법원 명령, 입법, 상급 인간 감독자)에 응답하도록 의무화한다. 법적 심사 패널이나 사법부가 “오프 스위치"를 쥐거나, 시스템 자체가 정당한 감독 권위를 찾아 응답하도록 훈련되거나, 둘 다일 수 있다.
• 완전 자율 무기의 국내 사용 금지. 외부 적대 세력 방어 명분은 있을 수 있어도 자국민을 상대로 쓸 정당성은 없다. 법 집행에서도 금지하는 것이 이상적이다.
• 대량 수집·데이터 브로커 허점 봉쇄. 현행법상 시민이 민간 기업에 제공한 데이터는 구매되어 국내 감시와 법 집행의 대량 분석에 쓰일 수 있다. AI는 이런 분석의 위력을 크게 키우므로 이 허점을 닫아야 한다.
• 불리한 정부 조치에 맞설 AI 조력권. 정부의 규제·법적 조치 대상이 된 개인과 조직은 해당 사안에서 정부가 쓸 수 있는 것과 최소한 동등한 능력의 AI에 접근할 수 있어야 한다. 행정절차법, 적법절차 보호, 수정헌법 6조 변호인 조력권의 확장·해석으로 추가할 수 있다.

정부만 경계 대상은 아니다. 도금시대의 미국 기업이나 영국 동인도회사처럼 기업이 국가를 포획하거나 준국가적 성격을 띤 역사가 있다. AI는 곧 정부에도 기업에도 온전히 맡길 수 없을 만큼 강력해질 것이므로 양쪽 모두에 견제와 균형이 필요하다고 본다. Anthropic의 Long-Term Benefit Trust를 기업 내부의 권력 분립 장치의 한 예로 들고, 업계가 더 나아간 메커니즘을 계속 탐구해야 한다고 덧붙인다.

5. 민주주의 진영의 리더십 확보

새 기술을 무역 정책의 도구로 보고 “우리 기술 스택을 세계에 확산"하려는 통념을 거부한다. AI는 핵무기처럼, 어쩌면 그 이상으로 게임판 전체를 다시 놓는 기술이라는 것이다.

AI가 “데이터센터 안의 천재들의 나라"에 조금이라도 가까워진다면, AI는 어느 나라에든 군사·경제 권력의 지배적 원천이 될 가능성이 높다. 1억 명의 가상 천재 나라라면 1천만 명을 군사 전략에, 1천만 명을 드론 제조에, 1천만 명을 무기 R&D에, 1천만 명을 정보 수집·분석에, 1천만 명을 과학 발전에 배치할 수 있다. Powerful AI를 가진 나라와 없는 나라, 혹은 3년 뒤처진 나라의 격차는 2차 대전 해병대와 중세 검사 군대의 격차에 비견된다.

제안은 공통 가치에 따라 AI를 구축하는 민주주의 글로벌 연합이다. 연합 가입을 점점 더 매력적으로, 바깥에 남는 비용을 점점 더 분명하게 만들어 세계를 끌어들인다. 운영 원칙으로 다음을 든다.

• AI 공급망 관리. 신뢰 연합 내에서는 칩과 반도체 제조 장비를 자유롭게 공유하고, 적대 세력에는 함께 차단한다. 대중국 수출 통제는 미국 AI 우위의 주요 기여 요인이었으며 확장·강화·동맹 조율이 필요하다. MATCH, OVERWATCH 같은 계류 법안을 좋은 첫걸음으로 평가한다.
• 위험 대응 조율. 1절의 생물학·사이버·자율성 위험 정책은 국제적으로 조율될 때 더 효과적이고 산업 부담도 줄어든다. 법 집행·정보 기관의 오용 위협 추적 공조도 포함된다.
• 혜택 공유. 무역·규제 정책으로 연합 내 경제적 혜택의 확산을 촉진하고, 의료 승인 제도의 조화 등으로 개발도상국에도 혜택을 전달한다.
• 상호 방위. AI 기반 사이버 방어, AI 드론, AI 제조, 기밀 AI 컴퓨트, AI R&D, AI 정보 수집 공유의 충분한 생산을 연합이 함께 보장한다.
• AI 억압의 거부. 연합 가입국은 AI 기반 초억압 독재를 거부하고 4절의 안전장치에 준하는 장치를 갖춰야 한다.
• 거시경제 협력. 고용 위기는 국경을 넘어 전염되므로 2절과 같은 부양·안정화 정책을 함께 조율한다.

연합은 주권 국가 간 조율에 기초하며, 이념적으로 정렬된 민주주의 국가에서 시작해 기준을 충족할 준비가 된 나라를 점진적으로 받아들인다. 전 세계가 가입하는 것이 이상이지만, 그렇지 못하더라도 연합 구축은 억압에 전념하는 체제를 봉쇄하고 능가할 가장 강한 위치를 민주주의에 제공한다.

기회의 창

AI의 지수적 발전은 정책 과정이 감당하기 힘든 속도를 만들었지만, 동시에 독특한 기회의 창도 만들었다. AI 위험의 명백한 증거, 경제적 가치 창출과 교란의 초기 경험, 무규제 접근에 대한 대중의 반발이 겹치면서 정책 입안자들이 이례적으로 전향적 행동에 열려 있다. “트리비어드와 그의 숲이 깨어나고 있다.”

업계 일각의 “AI는 마케팅이 부족할 뿐"이라는 프레임은 완전히 거부한다. 사람들이 AI를 걱정하는 것은 위험이 실재함을 정확히 인식하기 때문이고, 투명성에 대한 대중의 우려는 민주적 책임이 제대로 작동하는 모습이라는 것이다. 과제는 이 우려를 건설적 해법으로 모으고 형체 없는 분노와 폭력으로 흐르지 않게 하는 것이다. 고용 충격 대응, 모델 사전 테스트, 칩 수출 통제, 에너지 문제까지 정파를 가로지르는 상식적 호소력이 있는 사안이 많아 해법에 낙관적이라고 맺는다.

가장 흥미로운 지점

이 에세이에서 가장 눈에 들어온 것은 시점 선언의 구조다. 아모데이는 2024년의 자신이 왜 구속력 있는 규제에 반대했는지(SB 1047에 대한 양가적 입장)를 먼저 복기하고, 그때의 논리(위험의 형태가 불분명할 때의 사전 입법은 빗나간다)가 지금은 더 이상 성립하지 않는 이유를 Mythos Preview라는 구체적 사건으로 제시한다. “투명성 → 구속력 규제 → (필요시) 핵물질급 통제"라는 단계적 사다리를 명시한 덕에, 입장 변경이 표류가 아니라 같은 원칙의 일관된 적용으로 읽힌다.

또 하나, AI 자체와 다운스트림 기술의 규제 방향을 정반대로 설정한 대비가 인상적이다. AI 모델에는 FAA식 사전 심사를 요구하면서, AI가 가속할 신약 개발에는 FDA의 비관적 가정을 미리 풀어 두라고 요구한다. 규제 강화와 규제 완화를 같은 에세이에서 주장하는 셈인데, “규제 시스템이 기술의 실제 위험·신뢰성 분포에 맞게 보정되어야 한다"는 하나의 기준으로 양쪽이 묶인다.

출처

Dario Amodei, “Policy on the AI Exponential”, 2026년 6월. 함께 발표된 것: Anthropic의 프런티어 모델 테스트 법안 제안, 고용 충격 대응 정책 프레임워크.

원문: https://darioamodei.com/post/policy-on-the-ai-exponential

원문에 인용할 이미지가 없는 텍스트 에세이라 본 다이제스트도 텍스트로만 구성했다.