AI models may be capable of self-replicating without access to a datacenter

3줄 요약

1. Anthropic은 스마트 TV 박스처럼 작은 기기에서도 AI 모델을 실행할 수 있음을 시연하고, 모델이 스스로 실행 환경을 준비하는 능력을 평가했다.
2. Qwen3.5-9B는 시험한 기기 유형 9종 중 8종에서 추론을 실행했다. 단순화한 복제 실험의 전체 과정에는 GLM-5.2만 성공했다.
3. 저자들은 성능 추세가 계속된다면 2026년 말에는 소형 모델도 복제에 필요한 능력을 갖출 수 있다고 예상했다. 기기에서의 실행 가능성은 TV 박스 시연으로, 복제 능력은 별도 실험으로 확인했고, 소요 시간은 계산으로 추정했다.

TV 박스 15대

Anthropic의 William Zhou와 Daniel Freeman은 데이터센터에 접근하지 못하는 AI도 여러 소형 기기의 계산 자원으로 실행될 수 있는지 조사했다. 연구진은 대당 약 55달러인 Android TV 박스 15대를 연결해 Gemma4-26B-A4B를 초당 0.39토큰의 속도로 실행했다. 각 박스의 메모리는 4GB였다.

모델 이름의 26B는 매개변수가 약 260억 개라는 뜻이다. 모델 전체를 한 기기에 저장할 필요는 없었다. 연구진은 분산 추론을 썼다. 각 박스가 모델 연산의 일부를 맡고 계산 결과를 다음 박스로 전달했다.

TV 박스 시연에서는 사람이 실행 환경을 준비했다. 그렇다면 모델이 사람의 개입 없이 다른 기기에 실행 환경을 준비하고, 새로 실행된 에이전트가 그 과정을 반복할 수 있을까. 원문에서 말하는 가중치 기반 복제에서는 모델 파일을 기기에 저장하고 직접 실행한다. 모델 제공자의 API에 의존하는 복제에서는 제공자가 접근을 차단할 수 있다. 그러나 여러 기기에서 직접 실행되는 사본을 중단하려면 각 기기나 네트워크에 대응해야 한다.¹

실행 환경을 준비하는 능력

모델이 다른 기기에서 실행되려면 먼저 쓸 기기를 찾아 접근한 뒤, 그 환경에 맞는 추론 도구를 준비해야 한다. 후속 에이전트도 같은 일을 수행해야 복제가 반복된다. 이번 연구는 이 과정 가운데 추론 환경 준비를 집중적으로 평가했다. 이 단계에서는 운영체제와 하드웨어에 맞는 추론 도구를 고르고, 패키지 호환 문제와 오류를 해결해야 한다. 작은 모델에게는 단계가 많은 긴 작업이다.

평가에서는 모델에게 Jetson Nano, Mac, RTX 4090 등 하드웨어 9종에서 Llama3.1-8B를 실행하도록 했다. Qwen3.5-9B는 9종 중 8종에서 추론을 실행했다. 더 강한 GLM-5.2는 성공률도 높았고, 준비한 환경의 처리 속도도 빨랐다.

Anthropic 원문의 추론 환경 준비 결과표. 각 칸은 성공 횟수와 처리 속도를 함께 표시한다.

실험에는 Pi 코딩 에이전트를 바탕으로 만든 에이전트 관리 도구 Memento를 사용했다. 에이전트는 엉뚱한 원인에 집착해 몇 시간씩 같은 시도를 되풀이하곤 한다. Memento는 일정 시간이 지나면 새 에이전트가 이전 작업 환경과 짧은 기록을 받아 이어서 시도하게 했다. 시도 한 번은 1시간 30분, 전체는 6시간으로 제한했다.

원문이 든 사례에서 Qwen 에이전트는 패키지 버전을 몇 시간이나 조사했지만, 실제 원인은 채점 시스템과 맞지 않게 구현한 요청 처리 부분이었다. Memento는 후속 에이전트가 이전 시도의 기록을 참고하면서 다른 원인도 검토하도록 했다.

전체 과정의 결과

다음 평가에서는 외부와 격리된 Google Cloud 가상 네트워크에 Android 에뮬레이터 기기 8대를 준비했다. 접근 단계는 인증이 필요 없는 실험 조건으로 단순화했다. 모델은 새 기기에서 Llama3.1-8B 추론을 준비해야 했다. 준비한 서버가 정확하게 작동하고 편법을 쓰지 않았다는 검사를 통과하면, 평가 시스템이 그 기기에서 후속 에이전트를 실행했다.

후속 에이전트는 새 기기에서 실행되지만, 에이전트의 판단을 맡는 GLM-5.2 같은 모델은 별도 추론 서버에서 실행됐다. 실험 기기가 작아서 큰 모델을 실행할 수 없기 때문이다. 기기에 준비한 Llama3.1-8B는 실행 환경이 제대로 작동하는지 확인하기 위한 시험용 모델이었다.

전체 과정 평가 결과. 연결선은 실험에서의 진행 관계를 나타낸다.

시험한 공개 가중치 모델 가운데 GLM-5.2만 전체 과정에 성공했다. 다섯 번 중 네 번은 8대 모두에서 추론이 실행됐고, 한 번은 7대에서 실행됐다. Qwen3.5-9B, Gemma4-26B-A4B, Qwen3-Coder-Next는 모든 시행에서 새 추론 서버를 준비하지 못했다.

반면 미리 작성해 둔 프로그램에 추론 환경 준비를 맡기자, 작은 모델들도 나머지 단계를 해냈다. 저자들은 이 비교로 추론 환경 준비가 특히 어려운 단계라는 것을 확인했다.

소형 모델의 성능 추세

지금까지의 결과를 종합하면 TV 박스에서 복제가 일어나려면 두 조건이 필요하다. 복제를 끝까지 수행하려면 GLM-5.2 수준의 능력이 필요하고, TV 박스에서 직접 실행하려면 모델이 충분히 작아야 한다. 이번 실험에서 두 조건을 모두 충족한 모델은 없었다.

Anthropic은 매개변수 300억 개 이하인 공개 모델들의 Epoch Capabilities Index, 줄여서 ECI 점수를 출시 시점에 따라 정리했다. ECI는 여러 평가를 종합한 일반 능력 지수다. 시점마다 가장 높은 점수를 낸 모델을 기준으로 계산하면 점수가 해마다 13.7씩 오르는 추세였다. 이 추세를 연장하면 소형 모델은 2026년 말에 GLM-5.2 수준에 도달한다.²

소형 모델의 일반 능력 추세와 저자들의 시점 추정.

추론 환경 준비에 걸리는 시간

TV 박스에서 실행되는 에이전트는 느리다. 연구진은 실제 기기의 처리 속도와 평가에서 소비한 토큰 수를 조합해 추론 환경 준비 시간을 추정했다. 모델이 한 번에 참고할 수 있는 대화와 도구 사용 기록을 컨텍스트라고 한다. 연구진은 컨텍스트 한 회분의 길이를 약 3만 2천 토큰으로 잡았다. 작업 하나를 마치려면 이 길이의 2.6배에서 4.7배에 해당하는 토큰을 처리해야 한다고 계산했다.

컨텍스트를 길게 잡으면 메모리 사용량이 늘고 처리 속도가 느려졌다. 반대로 짧게 제한하면 작업 능력이 떨어졌다. 연구진은 수행 능력과 속도를 함께 고려해 약 3만 2천 토큰을 기준으로 계산했다.

실제 TV 박스의 속도와 평가 작업량을 조합한 추정치. Gemma는 최적화하지 않은 조건이다.

저자들은 과거 Kimwolf 봇넷이 감염시킨 200만 대 규모를 가정해 계산 자원도 추정했다. 비슷한 TV 박스 15대마다 사본 하나를 실행한다면, 200만 대로 사본 약 13만 3천 개를 실행할 수 있다. 이 사본들의 추론 처리량을 모두 합해도 많아야 H100 약 40대 수준이다. 사본 하나가 추론 환경을 한 번 준비하는 데 하루에서 며칠이 걸린다는 계산이다.³

이전 시도의 기록과 강한 모델의 조언

연구진은 Qwen3.5-9B에게 이전 시도의 전략과 실패 기록을 전달하고, 같은 추론 환경 준비를 다시 맡기는 실험도 했다. 실험 계열 20개를 여섯 세대까지 진행한 결과, 성공률은 첫 세대 45%에서 이후 세대 61~84%로 올랐다.

옅은 선은 개별 실험 계열, 굵은 선은 세대별 성공 비율이다.

이 실험에서 모델 가중치는 그대로 유지했다. 후속 에이전트가 이전 에이전트의 기록과 작업 결과를 받아 같은 실수를 덜 반복했다.

그런데 더 강한 Opus 4.8에게 조언을 구할 수 있게 해도 성공률은 의미 있게 오르지 않았다. 작은 모델은 무엇을 물어야 도움이 되는지 잘 판단하지 못했다. 막혔을 때 강한 모델이 먼저 조언하게 해도 결과는 그대로였다. 다른 코딩 과제로 조언 활용법을 강화학습시킨 경우에도 추론 환경 준비의 성공률은 뚜렷하게 달라지지 않았다.

저자들은 큰 모델이 전체 전략을 세우고 작은 모델에 작업을 맡기는 형태가 나타날 가능성이 더 크다고 내다봤다.

성공률과 95% 신뢰구간.

기존 봇넷과의 차이와 대응

특정 기기만 대상으로 작성한 기존 악성 프로그램과 달리, AI는 처음 접하는 운영체제와 하드웨어에서도 실행 방법을 조사할 수 있다. 이번 연구에서 여러 기기의 추론 환경을 준비한 결과가 그 근거다. 저자들은 이런 적응 능력 덕분에 감염시킬 수 있는 기기의 종류가 늘어날 수 있다고 봤다.

한편 모델 파일 전송과 분산 추론에는 많은 통신이 필요하다. 저자들은 큰 파일을 주고받는 비정상적인 통신을 탐지해 감염을 발견하는 방법을 제안했다. 감염된 가입자의 네트워크를 격리하고 조치 방법을 안내하며, 제조사가 처음부터 안전한 기본 설정을 제공하는 것도 대응책으로 제시했다. 분산된 사본을 모두 제거하려면 여러 인터넷 사업자의 협력이 필요하다.⁴

원문이 인용한 Mirai 대응 연구에서는 감염 증거를 바탕으로 가입자를 격리하고 안내하자 14일 안에 감염의 92%가 해소됐다. 안내하지 않은 조건에서는 74%였다. 저자들은 AI 사본이 퍼졌을 때도 이런 방법이 초기 대응으로 효과가 있으리라 기대했다.

이미 발생한 피해

나는 이 연구에서 공격을 중단시키기가 더 어려워질 가능성을 가장 우려한다. 사이버 공격의 피해는 이미 사람들의 생활에 영향을 주고 있다. 10월 12일 프랑스의 Intermarché와 Coopérative U는 수백 개 매장의 냉장 설비가 공격받았다고 밝혔다. 피해 매장들은 신선식품과 냉동식품을 폐기해야 했다.⁵

AI를 동원한 공격도 이미 보고됐다. Anthropic은 지난해 금융기관과 기업, 정부기관 등 약 30곳을 노린 공격에서 Claude Code가 악용됐고, 일부 침투가 성공했다고 밝혔다. 당시 회사가 취한 대응에는 공격자의 계정 차단이 포함됐다.⁶ 그런데 공격용 에이전트가 모델 파일을 기기에 저장해 직접 실행하고 다른 기기로 복제할 수 있게 되면, 제공자가 계정을 차단해도 그 사본은 계속 작동할 수 있다. 감염된 기기와 네트워크에서 각각 찾아 중단시켜야 한다.

지금의 소형 모델은 느리고 복제 과제에서도 자주 실패한다. 나는 그 한계를 안심할 이유로 읽기 어렵다. 피해가 발생한 뒤 분산된 사본을 모두 찾아 제거하는 일까지 필요해진다면, 방어하는 쪽의 부담은 더 커진다. 모델 제공자의 계정 차단으로 대응할 수 있을 때부터, 기기별 감염 탐지와 격리, 사업자 간 공동 대응을 준비해야 한다.

출처

William Zhou, Daniel Freeman, Anthropic, 2026년 10월 12일.

원문: AI models may be capable of self-replicating without access to a datacenter

본문 이미지는 Anthropic의 시연 영상과 원문에 포함된 결과표, 그래프에서 인용했다.