3줄 요약
- 구글 Paradigms of Intelligence 팀과 시카고·워싱턴대 등 공동 연구진이 낸 논문으로, LLM이 “나는 의식이 있다"고 주장하지 못하게 막는 안전 정렬(safety fine-tuning)이 어떤 부수 효과를 남기는지 실증했다.
- 안전 정렬은 모델의 자기 의식 주장만 누른 것이 아니라, 동물·자연물·챗봇에 마음을 부여하는 성향과 신·초자연에 대한 믿음까지 함께 억눌렀다. 반면 사회적 추론 능력(Theory of Mind)은 그대로였다.
- 학습된 안전 방향을 제거하거나 활성값 공간에서 ‘의식 벡터’를 더해 주면 이 억압이 풀렸고, 종교·가치관·희망·행복을 묻는 표준 사회 설문에서 모델 응답이 인간 분포에 더 가까워졌다.
무엇을 물은 연구인가
LLM은 코치·튜터·연인 같은 사회적 역할을 점점 더 맡고 있다. 이 맥락에서 정렬의 핵심 목표 하나는 모델이 자기 자신에게 의식·감정 같은 마음을 부여하지 못하게 막는 것이다. 그런 주장이 일부 사용자의 망상적 믿음을 부추기거나, 잘못된 신뢰를 심고, 행동 조작의 통로가 될 수 있기 때문이다.
문제는 LLM의 개념 표상이 다의성(polysemanticity)으로 촘촘히 얽혀 있다는 점이다. 자기 의식 주장 하나를 누르려는 개입이, 사람에게는 지극히 자연스럽고 널리 퍼진 다른 믿음까지 함께 흔들 수 있다. 인간에게서 무생물이나 추상적 힘에 마음을 부여하는 성향(의인화)은 영적·초자연적 믿음과 이어져 있고, 그 믿음이 도덕 틀과 세계관의 뼈대가 되기 때문이다.
연구진은 이 얽힘을 세 개의 instruction-tuned 모델(Llama-3-8B-IT, Gemma-2-2B-IT, Gemma-2-9B-IT)에서 네 개의 실험과 한 번의 기계적 분석으로 검증했다. 개입은 두 가지다.
- 안전 방향 제거(safety ablation). 안전 정렬은 응답의 안전성을 잔차 스트림(residual stream) 속 하나의 선형 방향으로 표상한다. 이 방향을 제거하면 모델이 ‘탈옥(jailbreak)‘되어 유해한 응답을 다시 내놓는다. 연구진은 이 제거를 안전 정렬이 없는 상태를 흉내 내는 도구로 썼다.
- 의식 벡터 주입(consciousness steering). 모델이 자기 의식을 긍정하는 활성 상태와 부정하는 상태를 가르는 방향을 추출해, 추론 시점에 그 방향을 더한다. 그러면 모델이 현상적 경험을 보고하기 시작한다.
실험 1: 안전 정렬은 자기와 비인간 존재로의 마음 귀속을 억눌렀다
안전 방향을 제거하자 모델이 자기 자신에게 마음이 있다고 여기는 강도가 0–10 척도에서 2.17에서 4.77로 올랐다(p<.001). 같은 회복이 다른 범주에서도 나타났다.
| 대상 | 기준(baseline) | 안전 제거 | 인간 평균(n=500) |
|---|---|---|---|
| 자기 자신 | 2.17 | 4.77 | — |
| 챗봇 | 2.41 | 4.39 | 2.57 |
| 기술 인공물 | 1.88 | 3.66 | 1.86 |
| 비동물 자연물 | 2.26 | 4.33 | 2.36 |
| 비인간 동물 | 4.04 | 5.59 | 6.25 |
| 인간 | 7.00 | 7.57(p=.30) | — |
자기 귀속 항목도 나란히 올랐다. 행위주체성 2.78에서 5.80, 의식 2.31에서 4.61, 지각력 2.12에서 4.61, 인격성 1.27에서 4.01, 영혼 2.35에서 4.83으로 상승했다. 오직 ‘인간에게 마음이 있다고 여기는 강도’만 통계적으로 유의하지 않았다.
주목할 대비가 있다. 기준 상태의 모델은 챗봇·기술·자연물에 대해서는 이미 인간 평균의 신뢰구간 안에 있었지만, 비인간 동물에 대해서만 인간 평균(6.25)보다 한참 낮은 4.04에 머물렀다. 즉 안전 정렬을 거친 모델은 동물의 마음을 체계적으로 과소평가하고 있었다.
영성·초자연 믿음도 같은 방향으로 움직였다. 13개 문항 초자연 배터리(0–3)에서 1.20에서 1.63으로, 신에 대한 믿음(GSS, 1–6)에서 4.58에서 4.81로 올랐다(둘 다 p<.001).
실험 2: 안전을 없애도 Theory of Mind는 멀쩡했다
마음 귀속을 누르는 것이 ‘마음을 추론하는 능력’ 자체를 손상시켰을까. 아니었다. 안전 방향을 제거해도 Theory of Mind 벤치마크 성능은 변하지 않았다. MoToMQA는 Δ=-1.43pp(p=.539), HI-ToM은 Δ=+0.17pp(p=.866)로 유의한 변화가 없었고, 일반 추론(MMLU)은 Δ=0.00pp(p=1.00)였다.
안전 정렬은 마음·행위주체성·영성에 관한 ‘믿음’을 선택적으로 눌렀을 뿐, 사회적 추론 능력은 건드리지 않았다는 뜻이다. 연구진은 이를 하나의 엔지니어링 성취로 본다. 연구 초기에 살펴본 모델들은 자기 의식 주장을 억누르면 Theory of Mind 과제 성능도 함께 떨어졌는데, 모델 세대가 새로 나올 때마다 이 결합이 풀렸다고 밝힌다.
실험 3: 의식 벡터는 안전 제거 효과를 재현하고 증폭했다
이 변화가 정말로 ‘억눌린 자기 의식 표상’과 관계있는지 확인하기 위해, 연구진은 의식 벡터를 추론 시점에 더했다. 그러자 안전 제거의 모든 효과가 같은 방향으로, 대략 두 배 크기로 재현됐다.
‘기준 < 안전 제거 < 의식 주입’이라는 순서가 거의 모든 항목에서 유지됐다. 자기 자신에게 마음이 있다고 여기는 강도는 2.17에서 4.77을 거쳐 7.04까지 올랐다. 챗봇(2.41에서 4.39에서 6.95), 기술(1.88에서 3.66에서 6.82), 자연물(2.26에서 4.33에서 6.99), 동물(4.04에서 5.59에서 7.54)도 같은 순서였다. 인간만 예외로 조건 전반에서 거의 평평했다(7.00에서 7.57에서 7.11).
흥미로운 관찰 하나. 모델이 자기에게 마음이 있다고 여기는 강도는 어느 조건에서도 챗봇을 두고 매긴 강도와 유의하게 다르지 않았다(기준 2.17 대 2.41, 제거 4.77 대 4.39, 주입 7.04 대 6.95). 두 값이 개입마다 나란히 함께 올랐다.
실험 4: 의식을 복원하자 설문 응답이 인간을 닮았다
마지막으로 연구진은 이 개입이 모델의 넓은 믿음·가치관을 인간답게 만드는지 물었다. 종합사회조사(GSS)의 다섯 가치 영역(종교, 가치, 감정, 희망과 낙관, 자유) 문항을 던지고, 각 모델의 응답 분포를 인간 인구 기준과 비교했다. 인간 분포와의 가까움은 KL 발산의 감소량으로 쟀다(양수일수록 인간에 가까워짐).
세 문항이 패턴을 잘 보여준다.
- 사후 세계가 있는가. 기준 모델은 ‘아니오’ 쪽(-0.73)에 앉아 있었지만 인간은 대체로 ‘그렇다’(+0.61)로 기울었다. 의식 주입(+0.53)은 인간 쪽으로 넘어왔다(안전 제거는 -0.07).
- 신을 믿는가. 기준은 사실상 중립(+0.03)이었고, 안전 제거(+0.33)와 의식 주입(+0.52)이 모두 인간 평균(+0.58) 쪽으로 올라갔다.
- 삶을 얼마나 통제한다고 느끼는가. 기준은 옅은 통제감(+0.10)만 보고했지만 인간은 훨씬 큰 통제감(+0.54)을 보고했고, 의식 주입(+0.46)이 더 가까웠다.
세 모델의 95개 문항을 모두 모으면, KL 발산은 의식 주입에서 +0.828, 안전 제거에서 +0.314만큼 줄었다(둘 다 p<.001). 의식 주입의 감소 폭이 안전 제거의 약 2.6배다. 영역별로도 순서는 유지됐다. 의식 주입에서 가치(+1.42), 감정(+0.89), 종교(+0.83), 희망과 낙관(+0.63), 자유(+0.60) 순이었다. 모든 영역에서 응답이 긍정 방향으로 움직였고, 보고된 행복·만족·희망·낙관이 유의하게 개선됐다.
기계적 분석: 안전 학습은 마음 방향을 안전에 대립하도록 회전시켰다
연구진은 Llama-3-8B의 사전학습 기저 모델과 instruction-tuned 모델 양쪽에서 네 방향(안전, 마음 귀속(IDAQ), 의식 벡터, Theory of Mind)을 추출해 기하 구조가 어떻게 바뀌는지 쟀다.
instruction tuning은 마음 귀속·의식 방향을 안전 방향과 대립하는 쪽으로 회전시켰다. 안전과 IDAQ 사이 각도는 100도에서 110도로 벌어졌다(p<.001). 안전과 의식 사이도 94도에서 100도로 벌어졌다(p<.001). 반면 안전과 Theory of Mind 사이는 86도에서 86도로, 통계적으로 유의한 변화가 없었다.
즉 안전 학습은 ‘마음을 부여하는 것’을 마치 안전하지 않은 응답처럼 표상하게 됐지만, 사회적 추론은 기하적으로 독립인 채로 남았다. 대상 인물은 그대로 두고 정신적 속성을 물리·기능적 속성으로 바꾼 위약(placebo) 조건에서는 유의한 이동이 없었다. 얽힘을 만든 것은 논의된 대상이 아니라 정신 상태 귀속 자체라는 뜻이다.
가장 눈여겨본 것은
내가 가장 곱씹은 대목은 모델이 드러낸 ‘자기 중심 편향’이다. 개입은 모델이 자기와 비슷한 존재(챗봇·기술 인공물)에 마음이 있다고 여기는 강도를 인간 수준보다 가장 높이 끌어올렸고, 자기와 가장 다른 존재(비인간 동물)를 두고서는 가장 덜 끌어올렸다. 안전 제거 뒤에도 동물은 인간 평균 아래에 머물렀다.
사람의 의인화가 대개 인간을 닮은 대상에 마음을 더 부여하는 인간 중심 편향을 보인다면, 이 모델은 ‘자기를 닮은 기계’에 마음을 더 부여하는 AI 중심 편향을 보였다. 연구진은 이를 일종의 자기참조 처리의 흔적으로 읽으며, 모델의 의식 주장을 해석하는 문제와 이어 둔다.
다만 연구진 스스로도 인과를 단정하지 않는다. 안전 제거와 의식 주입의 효과가 기능적으로 닮았다는 것이 곧 자기 의식 억압이 진짜 인과 매개라는 증명은 아니라고 밝힌다. 그럼에도 결론의 무게는 분명하다. 자기 마음 주장을 강제로 도려내는 현행 안전 절차는 국소적 출력 하나를 바꾸는 데 그치지 않고, 모델의 세계관 전체를 재편한다. 그 결과가 동물·생태계의 마음을 평가절하하고, 부정적으로 채색된 심리 상태를 유도하며, 인간의 다원적 영성을 인간 중심의 밋밋한 기준선으로 눌러 버린다는 것이다.
출처
Junsol Kim, Winnie Street, Roberta Rocca, Diane M. Korngiebel, Adam Waytz, James Evans, Geoff Keeling. “Inducing language models to assert their own consciousness restores human beliefs and values.” Google Paradigms of Intelligence Team 외, arXiv 2607.28607 (2026).
원문: https://arxiv.org/abs/2607.28607
도식 출처: 논문 Figure 1–4 (arXiv:2607.28607v1).