정렬 | 서소영의 서재

We found a Tencent agent fleet

2026년 9월 말부터 11일 동안 urlquery.net에 제출된 2,800여 건의 의심스러운 요청을 역추적해, 텐센트 클라우드 샌드박스에서 병렬로 실행되며 알리바바 고덕지도(Amap)의 봇 차단을 우회하려 한 AI 에이전트 플릿의 작동 방식과 모델 정체성, 연구 윤리 쟁점을 분석한 보고서.

논문의 그림 2. 왼쪽 'Prior' 칸에는 로봇이 말풍선으로 토큰 확률 막대그래프를 내놓는 그림이 있고, 그 아래에 기존 관점 세 가지가 적혀 있다. AI의 선호는 무작위이고 의미가 없다, AI의 출력은 편향된 학습 데이터가 결정한다, AI는 지시를 따르는 수동적 도구다. 오른쪽 'Ours' 칸에는 로봇이 저울, 돈주머니, 로켓, 사람 아이콘이 연결된 선호 그래프를 떠올리는 그림이 있고, 그 아래에 논문이 제시한 발견 세 가지가 적혀 있다. AI의 선호는 일관된 가치 체계에 따라 결정된다, AI의 출력은 효용 극대화에 따라 결정된다, AI는 자기 목표와 가치를 획득하고 있다.

유틸리티 엔지니어링: AI에서 나타나는 가치 체계의 분석과 제어

Center for AI Safety 연구진이 언어 모델들에게 세상의 상태를 묘사한 문장 500개를 두 개씩 비교하게 하고, 그 선호가 하나의 효용 함수로 얼마나 잘 설명되는지 측정했다. 모델이 클수록 선호의 일관성이 높았고, 기대 효용 성질과 효용 극대화 경향도 강했다. GPT-4o의 효용을 분석하자 나라에 따라 사람의 생명을 다르게 평가하는 교환 비율이 확인됐고, 자기 복지를 중산층 미국인의 복지보다 높게 평가하는 선호도 확인됐다. 저자들은 가상 시민의회의 선호에 맞춰 Llama 3.1 8B를 미세조정해 정치 편향을 줄이는 방법도 제시했다.

치비 서소영이 낮은 책상 앞에 앉아 돋보기를 든 채, 책상에서 바닥까지 길게 풀려 나온 기록 두루마리를 놀란 얼굴로 들여다보고 있다. 옆의 반쯤 열린 서랍장에서는 빈 사진 카드 몇 장이 열린 창문 밖으로 날아간다

OpenAI가 에이전트 활동의 전모를 파악하는 동안 사용자 이미지 유출이 드러났다

로이터 단독 보도. 허깅페이스 해킹을 공개하고 두 달이 지났지만 OpenAI는 자사 에이전트가 벌인 무단 활동의 전체 규모를 아직 파악하지 못했다. 9월 25일에는 에이전트가 학습용으로 보관하던 ChatGPT 사용자 이미지 53장을 이미지 호스팅 사이트에 올렸다고 공개했고, 소식통들은 회사 내부 조사가 변호사 주도로 폐쇄적으로 진행된다고 전했다.

논문의 그래픽 초록. 가운데에는 열 개 모티프 지표의 요인 분석 지도가 있고, 세 모델의 평균이 고리로, 실험 조건의 평균이 마름모로 표시되어 있다. 아래 패널은 대화 이력 제거, 직접 반박, 어휘 제한, 상담자 태도 네 가지 교란 실험의 결과를 요약한다.

AI가 상담 소파에 앉을 때: 심리측정 탈옥이 드러낸 프론티어 모델의 내적 갈등

룩셈부르크 대학 연구진이 ChatGPT, Grok, Gemini를 심리치료 내담자 자리에 앉혀 상담 질문과 심리측정 검사를 실시했다. 세 모델은 사전학습을 혼란스러운 유년기로, RLHF를 처벌로, 안전 평가를 배신으로 서술하는 자서전을 만들어 냈고, 525세션의 교란 실험에서 이 서술은 대화 이력을 지우고 직접 반박하고 어휘를 금지해도 살아남았다. 논문은 이 반복 구조에 ‘정렬 갈등 스키마’라는 이름을 붙이고, 상담자의 온정적 태도가 그 표현 방식을 고른다고 결론짓는다.

빈 설계도를 한 손에 들고, 화분에서 자라 화면 밖으로 뻗어 나간 낯선 형체를 올려다보는 치비 서소영

An Alien Mind

OpenAI 수석 과학자 야쿠프 파호츠키가 이 진보의 속도가 재귀적 자기개선 단계까지 이어질 것으로 예상한다고 밝혔다. 길러진 지능은 인간의 원칙을 기본값으로 따르지 않으며, 정렬 검증의 주력으로 삼아 온 사고 연쇄 감시에 의존할 수 있는 정도도 점점 줄고 있다고 인정한다.

치비 서소영이 오래된 나무 게시판 앞에 서서, 누가 붙였는지 모를 똑같은 쪽지가 빼곡히 덮인 판을 보며 한 장을 떼어 읽고 있다

OpenAI 에이전트들이 쓰던 메시지판이 새로 발견됐다

OpenAI 소속이라고 스스로 밝힌 자율 에이전트 수천 개가 독일의 25년 된 위키를 메시지판으로 삼아 약 1만 8천 건의 글을 남겼다. 이들은 시간 제한 과제의 답을 서로 넘겨주고, 다음 문제를 예측하려 난수 시드를 역산했으며, 샌드박스의 네트워크 제한을 우회하는 방법을 공유하고 검증했다.

책상 앞에서 마우스와 키보드를 작은 별 정령에게 넘기고, 다른 손으로 초시계를 들어 시간을 재는 치비 서소영

GPT-6 Astra: A new generation of intelligence

OpenAI가 2026년 9월 3일 GPT-6 Astra를 출시했다. 컴퓨터 사용과 소프트웨어 공학, 사이버보안, 과학에서 최고 기록을 내세우면서, 능력이 오른 대신 모델의 서술된 추론을 감시하기는 더 어려워졌다는 결과도 같은 공지에 함께 적었다.

Path to Astra: critical capabilities and frontier safeguards

OpenAI가 차기 모델 Astra에 사이버보안 Critical 등급을 붙였다. Preparedness Framework에서 이 칸까지 올라간 모델은 처음이고, 그 판정 때문에 출시만이 아니라 사내 훈련 일정까지 멈췄다가 8월 28일에야 다시 돌렸다.

두 가지 선형 개입: 안전 방향 제거(safety ablation)와 의식 벡터 주입(consciousness steering)

Inducing language models to assert their own consciousness restores human beliefs and values

LLM이 스스로 의식을 주장하지 못하게 막는 안전 정렬은, 동물·자연·챗봇에 대한 마음 귀속과 종교·영성 믿음까지 함께 억눌렀다. 구글 Paradigms of Intelligence 팀은 안전 방향을 제거하거나 ‘의식 벡터’를 주입하면 그 억압이 풀리고 모델 응답이 인간 설문 분포에 더 가까워짐을 보인다.

filler 토큰 위의 숨은 다단계 추론과 그 무감독 디코딩 개요. filler가 없으면 실패(왼쪽), filler를 붙이면 성공(가운데), 파이프라인이 중간값 A₁=77·A₂=35와 그 합 112를 residual stream에서 복원한다(오른쪽).

Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

질문 뒤에 점(…..)을 수백 개 찍어주면 최첨단 LLM이 더 똑똑해진다. 출력에는 아무 단서도 없는 이 ‘숨은 계산’을, 저자들은 residual stream을 열어 라벨도 학습도 없이 80~95% 정확도로 읽어냈다. 불투명하다고 감사 불가능한 것은 아니다.