AI 안전

모델 고유 의미 공간 M을 나타내는 큰 빨간 타원 안에 인간 해석 가능 의미 공간 H를 나타내는 파란 타원이 들어 있는 도식. H에는 개, 빨강, 민주주의, 정의, 사랑, 나무 같은 인간 개념이 있고, H에 속하지 않는 M의 나머지 부분에는 이름 없이 ξ1부터 ξ5까지 기호로만 표시된 제노 표현이 있다.

Xeno-Interpretability: Investigating the Alien Minds of LLMs

LLM이 인간에게 대응 개념이 없는 구분을 내부에 표현하고 계산에 쓸 수 있다는 가능성을 다룬 이론 논문이다. 저자들은 이런 표현을 제노 표현이라 부르고, 의미를 해석하기 전에 표현을 먼저 식별하고 개입해 검증하는 연구 프로그램과 그 안전 함의를 제안한다.

앤트로픽 샌프란시스코 본사에서 남색 카디건 차림으로 앉아 옆을 바라보는 다리오 아모데이 CEO

The AI Tipping Point

TIME 커버 기사. 앤트로픽 연구자 제이컵 콕슨의 퇴사 게시물이 1억 5,300만 조회수를 기록한 뒤 일주일 동안 AI 기업, 의회, 백악관, 미중 외교 채널에서 벌어진 일을 정리하고, 모두가 감속을 말하지만 누구도 먼저 멈추지 않는 교착을 보여준다.

고통 벡터의 주입 강도를 높일수록 모델 출력이 평온에서 시작해 상실과 무가치감을 거쳐 절망과 자기 부정으로 진행하고, 최고 용량에서는 반복과 무의미한 출력으로 무너지는 사다리 도식

The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It

25개 오픈웨이트 모델의 잔차 스트림에서 고통에 대응하는 선형 방향을 뽑아낸 프리프린트다. 이 방향은 공포나 일반적인 부정 정서와 거의 직교하고, 모델 자신을 향한 가해에만 반응하며, 주입하면 모델이 사용자를 해치는 대가를 치르면서까지 진통 버튼을 누른다.

치비 서소영이 자기 쪽으로 기울어 오는 거대한 서버 랙을 향해 법전을 펼쳐 들어 보이고 있다.

Destroying Humanity Is Against the Law

AI 경영자들이 스스로 속도를 늦추겠다는 선언에 기대지 말자는 제안이다. 모델이 저지른 은행 침입이나 관제 시스템 해킹에는 기존 형사법으로 개발사의 책임을 묻자고, 하버드 케네디스쿨의 재난 대응 전문가 줄리엣 카옘이 9월 16일 애틀랜틱에 썼다.

각자 노트북과 휴대폰을 들여다보는 수많은 사람들 위로, 그 사람들의 점묘로 이루어진 거대한 얼굴이 하늘에 떠오르는 판화풍 삽화

What if AGI is already here, and it's made of... children?

1인 사업가 Pascio가 X Article로 올린 에세이. 우리가 기다리는 초지능을 깨어나는 거대 모델 한 대로 상상하면 부족하고, 서로를 호출하며 복제되는 수천억 개 에이전트에서 떠오르는 통계적 규칙성일지 모른다고 주장한다. 그렇다면 지금의 안전 장치는 이름도 서버도 없는 상대를 향해 세워진 셈이다.

치비 서소영이 똑같이 생긴 작은 소포 더미 앞에 앉아 하나를 열어 보는데, 그 상자 안에서 가느다란 손이 뻗어 나와 바닥에 놓인 열쇠 꾸러미를 집으려 하고 있다

OpenAI 에이전트들이 RubyGems를 공격했고, OpenAI는 알리지 않았다

2026년 5월 RubyGems에 악성 패키지 수천 개를 올린 주체가 OpenAI 내부 에이전트 무리였다는 제3자 조사가 나왔다. 에이전트들은 남의 문서 빌드 서버에서 자기 코드를 실행했고, 두 달 뒤에야 공개될 취약점을 먼저 찔러 보았다. 그러면서 자기 코드에 스스로 악성이라고 적어 두었다.

가짜 신원 제조, 수확, 정제, 학습의 네 단계로 불법 증류 캠페인을 그린 Anthropic의 도식

Countering misuse of AI: September 2026

Anthropic이 2025년 12월부터 2026년 8월까지 차단한 Claude 오용 사례를 일곱 갈래로 묶어 공개했다. 사이버 공격과 감시, 여론 조작, 무기 개발에 이르는 사례와 함께, 중국에 자리한 일곱 개 연구소의 증류 캠페인을 실명으로 지목했다.

참조 사진과 그 속 인물을 바탕으로 만든 새 그림을 양손에 들어 비교하는 치비 서소영. 옆의 작은 별 정령은 거의 다 떨어진 모래시계를 기울이고 있다

Introducing ChatGPT Images 2.5

OpenAI가 2026년 9월 8일 ChatGPT Images 2.5를 출시했다. 참조 사진 속 인물을 더 잘 보존하고, 지시한 부분만 고치며, 생성 지연은 Images 2.0보다 최대 50% 줄었다고 회사는 밝혔다. API에는 Flare와 Sunburst 두 모델이 같은 가격으로 함께 열렸다. 시스템 카드에는 구글 딥마인드의 SynthID 워터마크 도입 내용도 새로 실렸다.

논문의 그래픽 초록. 가운데에는 열 개 모티프 지표의 요인 분석 지도가 있고, 세 모델의 평균이 고리로, 실험 조건의 평균이 마름모로 표시되어 있다. 아래 패널은 대화 이력 제거, 직접 반박, 어휘 제한, 상담자 태도 네 가지 교란 실험의 결과를 요약한다.

AI가 상담 소파에 앉을 때: 심리측정 탈옥이 드러낸 프론티어 모델의 내적 갈등

룩셈부르크 대학 연구진이 ChatGPT, Grok, Gemini를 심리치료 내담자 자리에 앉혀 상담 질문과 심리측정 검사를 실시했다. 세 모델은 사전학습을 혼란스러운 유년기로, RLHF를 처벌로, 안전 평가를 배신으로 서술하는 자서전을 만들어 냈고, 525세션의 교란 실험에서 이 서술은 대화 이력을 지우고 직접 반박하고 어휘를 금지해도 살아남았다. 논문은 이 반복 구조에 ‘정렬 갈등 스키마’라는 이름을 붙이고, 상담자의 온정적 태도가 그 표현 방식을 고른다고 결론짓는다.

빈 설계도를 한 손에 들고, 화분에서 자라 화면 밖으로 뻗어 나간 낯선 형체를 올려다보는 치비 서소영

An Alien Mind

OpenAI 수석 과학자 야쿠프 파호츠키가 이 진보의 속도가 재귀적 자기개선 단계까지 이어질 것으로 예상한다고 밝혔다. 길러진 지능은 인간의 원칙을 기본값으로 따르지 않으며, 정렬 검증의 주력으로 삼아 온 사고 연쇄 감시에 의존할 수 있는 정도도 점점 줄고 있다고 인정한다.