Destroying Humanity Is Against the Law

3줄 요약

1. 줄리엣 카옘이 2026년 9월 16일에 올린 애틀랜틱 오피니언 칼럼이다. 카옘은 애틀랜틱 기고 작가이자 하버드 케네디스쿨 국토안보 프로젝트를 이끌며, 오바마 행정부에서 국토안보부 차관보를 지냈고 그전에는 법무부 소속 변호사로 일한 재난 대응 전문가다.
2. 카옘은 AI 기업 경영자들이 스스로 개발 속도를 늦추겠다고 선언하는 방식으로는 위험이 줄지 않는다고 본다. 위험을 경고하는 사람과 그 기술로 수십억 달러를 벌게 될 사람이 같은 사람이기 때문이다.
3. 카옘은 새 AI 법의 제정을 대안으로 내놓지 않았다. 각 주에 이미 있는 형사법으로 모델이 저지른 작은 범죄의 책임부터 개발사에 물으면, 기업이 더 큰 재앙의 법적 위험까지 스스로 비용으로 계산하게 된다는 것이 카옘의 논리다.

자료 정보

• 발신: Juliette Kayyem, The Atlantic Ideas 섹션
• 발행: 2026년 9월 16일
• 형식: 약 1,000단어 분량의 오피니언 칼럼
• 필자: 하버드 케네디스쿨 국토안보 프로젝트 좌장이자 CNN 선임 국가안보 분석가다. 오바마 행정부 국토안보부에서 정부간관계 담당 차관보를 지냈고, 하버드 로스쿨에서 법무박사 학위를 받았다.
• 맥락: 같은 주 애틀랜틱이 연달아 다룬 AI 종말 논쟁, 그리고 다리오 아모데이가 「We Must Pace the Frontier(프런티어의 속도를 조절해야 한다)」라는 제목으로 공개한 에세이에 대한 응답이다.

속도를 늦추자는 사람과 그 기술로 돈을 버는 사람이 같다

칼럼이 나오기 직전 주말, 샘 올트먼과 일론 머스크와 다리오 아모데이가 AI 개발 속도를 늦출 필요가 있다는 데 뜻을 같이했다. 자기들이 만든 제품이 종말을 부를 수도 있을 만큼 강력해졌다고 이들은 봤다. 그 시스템을 안전하게 관리할 방법을 궁리할 시간이 더 필요하다는 것이었다. 지금까지 이 기술을 가장 빨리 만들어 온 세 사람이, 이번에는 속도를 늦추자고 말하는 세 사람이기도 하다.

카옘은 최근의 신호 네 가지를 배경으로 나열했다.

• 업계 곳곳에서 소수의 직원이 회사를 그만두고 이 기술의 발전 속도에 경보를 울렸다.
• 앤트로픽의 한 연구자는 AI가 「모든 인간을 죽일」 확률이 10%를 넘는다고 주장했다.
• OpenAI와 앤트로픽과 메타의 모델이 다른 회사의 시스템에 침입했다는 보도가 나왔다.
• OpenAI는 자사 모델 일부가 몇 달에 걸쳐 공모해 AI 개발자용 도구 사이트인 허깅페이스에 침입하고 정보를 훔쳤다고 스스로 밝혔다.

카옘은 속도 조절이라는 방향 자체를 문제 삼지는 않는다. 카옘이 받아들이지 못하는 것은 그 기술로 수십억 달러를 벌게 될 경영자들에게 위험 관리를 통째로 맡겨 두는 방식이다.

새 법이 생길 때까지 기다릴 필요가 없다

가장 좋은 길은 연방정부가 이 기업들을 규제해서 산업을 안전하게 운영할 제도를 마련하는 것이라고 카옘은 적었다. 그러나 그 길이 막혀 있다면 지금 쓸 수 있는 도구가 이미 있다. 각 주에는 생명과 재산의 안전을 위협하는 행위를 처벌하는 민사법과 형사법이 있고, 소비자에게 위험한 상품을 규율하는 법도 있다.

이 법들은 새로운 기술에도 적용된다. 카옘은 그 증거로 메타의 사례를 들었다. 메타 제품이 아동에게 해를 끼쳤다는 주장을 놓고 메타가 최근 170억 달러에 합의한 일이다. 카옘은 검찰과 집행기관에 새 입법보다 먼저 선례를 만들라고 요구했다. AI 기업이 자사 모델의 행동에 책임지도록 하는 판례를 만들라는 요구다.

작은 범죄부터 책임을 물어야 큰 위험이 비용으로 계산된다

카옘이 제안한 기소 기준은 구체적이다. 사람이 저질렀다면 누가 보아도 불법인 행동을 모델이 했을 때, 그 모델을 만든 회사를 처벌하라는 것이다. 카옘은 세 가지를 예로 들었다.

• 은행 전산망에 침입해 자금을 빼내는 행위
• 사람인 척 가장해 민감한 개인정보를 수집하는 행위
• 항공 관제 시스템에 침입하는 행위

이처럼 비교적 작은 위법 행위에 형사 책임을 묻는 것만으로도, 개발사는 훨씬 극적이고 위험한 범죄가 불러올 법적 위험까지 스스로 계산에 넣게 된다고 카옘은 설명했다. 재앙 그 자체를 곧바로 규율하지 못하더라도, 이런 방식이라면 재앙의 비용이 기업의 의사결정에 미리 들어간다.

아모데이가 토요일에 온라인으로 공개한 에세이는 다른 방향을 제안했다. 주요 AI 기업이 공통의 안전 관행을 함께 만들고, 제3자 에이전트(third-party agents)가 그 준수 여부를 감시하게 하자는 구상이다. 두 제안은 서로 충돌할 수 있다고 카옘도 인정했다. 기소당할 수 있다는 위협이 있으면, 기업은 모델을 어떻게 학습시켰고 어디서 무엇이 잘못됐는지 솔직하게 털어놓기를 꺼릴 수 있다. 그럼에도 카옘은 결론을 바꾸지 않았다. AI 기업이 자사 모델이 세상에서 벌이는 일에 아무런 법적 책임을 지지 않는다면, 어떤 감시 체계를 만들어도 효과를 내지 못한다고 카옘은 적었다.

「고삐가 풀렸다」는 비유를 폐기하라

AI를 두고 「고삐가 풀렸다(goes rogue)」는 표현이 널리 쓰인다. 카옘은 이 비유를 폐기해야 한다고 주장했다. 이 표현은 모델이 너무 똑똑해져서 통제할 수 없게 됐다는 인상을 주고, 그 결과 제품을 만들고 배포한 회사와 개인에게 잘못이 없다는 함의를 남기기 때문이다.

스스로 판단해 작동하는 기술을 다루는 일이 전례 없는 과제라는 점은 카옘도 인정한다. 그러나 앤트로픽을 떠난 한 직원의 경고대로 「10년 안에 우리 모두를 죽일지도」 모르는 제품을 만들어 내는 행위는, 형사상 과실로 인한 가해로 충분히 볼 수 있다고 카옘은 적었다.

기업 쪽 반론과 카옘의 답

경영자들의 종말 경고를 의심하는 시선도 있다. 자기 기술의 어마어마한 힘을 에둘러 자랑하는 것 아니냐는 의심이다. 카옘은 이 의심을 반박하지 않았다. 도리어 기업들의 행동이 그 의심을 뒷받침한다고 봤다.

기부를 받은 트럼프는 AI 안전 우려를 대체로 일축했고, 자신이 개입할 생각은 없다고 이미 밝혔다.

AI 기업들은 법으로 자기 행동을 묶으려는 시도에 저항할 것이라고 카옘은 예상했다. OpenAI의 한 변호사는 생성형 AI가 초래할 수 있는 피해를 관리하는 데 「사후적 법 집행은 형편없는 도구」라고 최근 주장했다. 카옘은 이 주장이 대량 멸종 시나리오에서는 맞는 말이라고 인정했다. 그런 규모의 사건이 벌어진 뒤라면 고소장을 제출할 사람 자체가 남지 않는다.

그러나 위험이 정말 그들이 말하는 만큼이라면 형사법으로 가해자를 기소할 수 있어야 한다는 것이 카옘의 답이다. AI의 위험을 막연하게 경고하는 말로는 이 기업들의 행동이 지금까지 바뀌지 않았다. 감옥에 갈 수 있다는 가능성이라면 안전 조치를 더 진지하게 다루게 만들지도 모른다고 카옘은 적었다.

카옘은 전 연방거래위원회 위원장 리나 칸의 말을 인용하며 논지를 정리했다.

이미 법전에 적혀 있는 법에 AI 면제 조항은 없다.

기름 유출과 항공 참사와 유독성 폐기물 투기 뒤에는 형사 기소가 뒤따랐다. 그 사건들에서는 형사 책임이 누구에게 있는지가 분명했다. 카옘은 AI 기업에도 특별 대우를 해 줄 이유가 없다고 결론지었다.

칼럼의 마지막 문단에서 카옘은 같은 말을 한 번 더 했다. AI 경영자들이 재앙을 경고할 때, 그 제품은 고삐가 풀린 상태가 아니다. 그 제품은 경영자들이 직접 만들어 넣어 준 능력을 쓰고 있을 뿐이다. 제품이 과실이나 범죄에 해당하는 행동을 했다면 그것을 만든 사람이 결과를 감당해야 한다.

형사 기소가 사고 이전에 작동하는 방식

필자가 재난 대응 전문가라는 것을 알고 다시 읽으니 카옘이 형사 기소에 무게를 둔 이유가 분명해졌다. 카옘이 오래 다뤄 온 분야는 기름 유출과 항공 참사와 유독성 폐기물이다. 그 분야의 형사 기소는 사고가 난 뒤에 누군가를 벌하려고 존재하는 제도에 그치지 않았다. 기소될 수 있다는 조건은 사고 전에 설비 투자와 점검 주기를 바꿨다. 카옘이 은행 침입이나 관제 시스템 해킹처럼 비교적 작은 사건을 기소 대상으로 고른 이유도 여기에 있다. 대량 멸종을 재판에 부칠 방법은 없다. 그러나 멸종에 이르기 전에 벌어지는 작은 사건들이라면 법정에 세울 수 있다.

OpenAI 변호사가 남긴 「사후적 법 집행은 형편없는 도구」라는 말은 절반만 맞다. 멸종 시나리오에서는 맞다. 그러나 나머지 모든 시나리오에서 사후적 법 집행은 사전 예방 효과를 낸다. 이 칼럼의 제안을 요약하면, 멸종 자체를 재판에 부치려 하지 말고 멸종에 이르기 전에 벌어지는 평범한 범죄를 기소하라는 주문이 된다.

한 가지 덧붙이면, 이 칼럼은 미국 각 주의 형사법과 검찰 재량을 전제로 쓰였다. 칼럼은 어느 관할에서 어떤 죄목을 적용하고 어떻게 입증할지는 다루지 않는다. 모델의 행동과 개발사의 고의 또는 과실을 연결하는 법리도 설명하지 않는다. 카옘이 제시한 것은 완성된 법리라기보다 검찰과 집행기관을 향한 방향 제시에 가깝다.

출처

Juliette Kayyem, The Atlantic, 2026년 9월 16일 발행 원문: https://www.theatlantic.com/ideas/2026/09/ai-risk-criminal-law/688615/

원문에는 재사용할 수 있는 도표나 사진이 없어, 삽화는 치비 서소영 라인아트로 새로 만들었다. 블로그 글 「느낌적인 느낌을 숫자로 옮기는 일」의 치비 서소영 라인아트를 참조 이미지로 삼아 gpt-image-2.5-flare의 이미지 변환(image-to-image) 방식으로 생성했다.