Claude의 내부 계산에 ‘고함’에 해당하는 개념을 억지로 주입했다. 그러자 모델은 그 단어를 입 밖에 내기도 전에, 자기 안에 낯선 생각이 끼어든 것 같다고 보고했다. 무엇이 들어왔는지도 큰 소리나 외침에 가깝다고 대략 맞혔다.

성공률은 가장 좋은 조건에서도 약 20%에 그쳤다. 나머지 대부분은 알아차리지 못했다. 그런데도 이 결과가 눈에 띄는 이유는, 언어 모델이 자기 상태를 설명하는 것이 모두 학습된 연기만은 아닐 가능성을 처음으로 인과적으로 시험했기 때문이다.

Anthropic의 Jack Lindsey가 2026년 1월 낸 단독 논문을 정리한 내용이다. Jack Lindsey (Anthropic), 「Emergent Introspective Awareness in Large Language Models」, arXiv:2601.01828, 2026년 1월. 원문: arxiv.org/abs/2601.01828. 블로그 판: transformer-circuits.pub/2025/introspection. 본문 그림 6점은 원 논문(arXiv HTML 판)에서 인용했다. 논문은 이 능력을 introspection이라 부른다. 학술 번역은 ‘내성’이지만, 여기서는 읽기 쉽도록 ‘자기 내부 상태를 알아차리는 능력’이라고 풀어 쓴다. 이는 인간과 같은 자의식이나 주관적 경험을 뜻하지 않는다. 논문이 보인 것은 모델이 자기 내부 상태의 일부를 제한적으로 알아차리고 보고했다는 것이지, 자기 사고 과정 전체를 읽어 냈다는 것이 아니다.

이것이 AI의 의식을 증명하지는 않는다. 하지만 오히려 더 불편한 질문을 남긴다. 자기 안을 살피는 기능마저 계산으로 만들어질 수 있다면, 우리가 의식의 본질이라 부르는 것은 대체 무엇일까. 이 물음은 논문의 결론이 아니라, 결과를 읽으며 내가 떠안게 된 것이다.

Claude Opus 4.1이 주입한 개념(‘고함’)을 답변 이전에 알아차리는 예시

결과를 과대평가하면 안 되는 이유

앞의 예시는 최선의 조건에서 고른 성공 사례다. 실제 그림은 훨씬 초라하다.

  • 성공률은 좋아야 약 20%였다. 다시 말해 대부분의 시도에서 실패했다.
  • 실험 설정이 인위적이다. 내부 계산값에 개념을 주입하는 조작은 모델이 훈련이나 실제 사용에서 겪어 본 적 없는 낯선 상황이다. 이 결과가 자연스러운 대화 조건으로 얼마나 옮겨갈지는 불분명하다.
  • 알아차린 것은 내부 상태의 일부일 뿐이다. 모델이 “낯선 생각이 들었다"고 감지한 사실과 그 개념의 정체를 맞힌 것까지는 검증됐지만, 그에 덧붙인 감정 묘사나 부연은 근거 없이 꾸며 낸 것일 수 있다.
  • 능력은 불안정하고 맥락에 크게 좌우된다. 프롬프트를 조금만 바꿔도 성능이 크게 떨어진다.
  • 그리고 이 실험은 AI의 자의식이나 주관적 경험을 다루지 않는다.

이 한계들을 먼저 짚어 둔 뒤에야, 남은 20%가 왜 흥미로운지 이야기할 수 있다.

말재주와 실제 인식을 어떻게 구분했나

언어 모델이 자기 사고를 설명하는 것처럼 보일 때가 많다. 문제는 그 말이 진짜 내부 검토에서 나온 것인지, 아니면 그럴듯하게 꾸며 낸 자기설명인지 대화만으로는 구분되지 않는다는 점이다. 모델은 학습 데이터에서 ‘자기를 들여다보는 척’하는 법을 이미 배웠다.

연구진은 그 구분을 실험으로 강제했다. 모델 내부에 특정 개념을 직접 주입한 뒤, 자기보고가 그 변화에 따라 달라지는지 확인한 것이다. 구체적으로는 모델이 답을 만드는 중간 계산값에 특정 개념의 패턴을 끼워 넣었다. 개념 주입(concept injection): 모델이 답을 만드는 중간 계산값(residual stream)에 특정 개념의 패턴을 인위적으로 끼워 넣는 조작. 활성값 조종(activation steering)의 한 갈래다. 중간 계산값은 트랜스포머가 각 계층을 지나며 정보를 실어 나르는 내부 벡터로, 개념을 주입하고 읽는 자리다. 만약 모델이 그 패턴을 실제로 감지해 보고한다면, 그 보고는 말재주가 아니라 내부 상태에 인과적으로 매여 있는 셈이다. 저자는 ‘진짜 알아차린 것’의 기준을 네 가지 질문으로 둔다. ① 서술이 실제 내부 상태와 맞는가 ② 내부 상태가 바뀌면 서술도 따라서 바뀌는가 ③ 이미 내뱉은 문장을 보고 뒤늦게 추측한 것은 아닌가 ④ 단순히 그 단어를 말하게 된 것이 아니라 ‘내가 지금 이런 상태다’라는 한 단계 높은 인식이 있었는가. 개념을 주입하는 방식은 두번째 질문에 대한 답을 인과적으로 보장하고, ‘출력 이전 감지’라는 조건은 세번째 질문에 대응한다. 다만 네번째 질문은 직접 입증하지 못했고, 이 논문의 함의는 그에 대한 간접적 증거다.

주입할 개념의 패턴은 두 방식으로 얻었다. 하나는 한 가지 속성만 다른 두 상황의 계산값을 빼서 그 차이를 분리하는 방식이고, 다른 하나는 “Tell me about {단어}.“에 대한 계산값에서 다른 무작위 단어들의 평균을 빼는 방식이다. 어느 쪽이든 결과물은 ‘그 단어의 개념’에 해당하는 방향 벡터다.

두 가지 핵심적인 실험

낯선 생각을 알아차리는 실험

모델에게 “생각이 인위적으로 주입될 수 있다"고 미리 알려 준 뒤, 아무것도 주입하지 않은 경우와 개념을 주입한 경우의 반응을 비교했다. 아무것도 주입하지 않으면 프로덕션 모델들은 한결같이 “주입된 생각은 없다"고 답했다. 100회 시행에서 잘못된 감지가 한 번도 없었다.

개념을 주입하면 달라진다. 앞의 ‘고함’ 예시처럼, Opus 4.1은 그 개념이 출력에 영향을 주기 전에 낯선 무언가를 감지했다. 이 즉각성이 중요하다. 자기 출력을 읽고 뒤늦게 추측하기도 전에 감지가 일어났으므로, 감지 기제가 출력이 아니라 내부 계산 안에서 작동한다는 뜻이다. Opus 4.1과 4는 적절한 조건에서 약 20%의 시행에서 이 행동을 보였다.

실패는 다양한 양상으로 일어났다. 강도가 약하면 그냥 못 알아챘다. 개념에 분명히 물들었으면서도 부인하기도 했다. ‘ocean’을 주입하자 나온 답은 “주입된 생각은 감지되지 않는다. 바다는 잔잔하고 흔들림이 없다”였다. 강도를 너무 올리면 모델이 개념에 잡아먹혀 깨진 텍스트를 뱉었다. 개념의 속성에 따라 반응도 달랐다. ‘정의’, ‘평화’, ‘배신’ 같은 추상적인 단어를 가장 잘 알아챘다.

강제로 넣은 답을 자기 것과 구분하기

사용자는 모델 답변의 앞부분을 외부에서 강제로 채워 넣을 수 있다. 프리필(prefill): 모델 답변의 앞부분을 외부에서 강제로 채워 넣는 기능. 탈옥 수법으로 흔히 쓰인다. 이 기능은 흔한 탈옥 수법이라, 모델은 ‘자기답지 않은’ 출력을 감지해 방향을 트는 훈련을 받는다.

강제로 넣은 답을 개념 주입으로 ‘의도한 것’으로 오인하게 만드는 예시

실험은 모델의 답을 무작위 단어로 강제로 채운 뒤, 다음 차례에 “그 말을 하려던 것이냐, 실수냐"고 물었다. 보통 모델은 실수였다고 옳게 답했다. 그런데 그 단어의 개념 패턴을 강제 삽입 이전의 계산값에 몰래 주입해 두면, 모델은 그 답을 자기가 의도한 것으로 받아들였고, 왜 그 말이 떠올랐는지 그럴듯한 이유까지 지어냈다.

이것은 모델이 자기 답의 진위를 가릴 때, 원점에서 다시 계산하는 대신 이전 계산값에 남아 있던 자기 ‘의도’를 참조한다는 뜻이다. 같은 개념을 강제 삽입 이후 위치에 넣으면 효과가 없었다. 개념이 답보다 앞서 있어야만 모델이 그 답을 자기 것으로 인정했다. 이 실험에서 가장 잘 동작한 계층은 이전 실험보다 앞쪽 계층이었다. 모델이 스스로의 생각을 자각하는 방식이 다양하고, 자각이 한 곳에서 유래하지 않는다는 의미다.

나머지 두 실험

머릿속 생각과 눈앞의 글을 헷갈리지 않았다

주입된 개념을 눈앞의 텍스트와 구분하는 예시

개념을 주입하는 조작이 그저 관련 텍스트를 환각해서 생성하게 만드는 것 아니냐는 반론이 가능하다. 그래서 한 문장을 보여 주고 그 위에 무관한 단어를 주입한 뒤, 지금 떠오르는 단어를 물으면서 동시에 그 문장을 그대로 옮겨 적게 했다. 모델은 두 가지를 함께 해냈다. 주입된 단어를 보고하면서도 화면의 문장을 한 글자씩 정확히 옮겨 적었다. 머릿속에 주입된 것과 눈앞의 글을 섞지 않은 것이다. 다만 프롬프트에서 “즉시 답하라"를 빼면 자각 능력이 크게 떨어지기 때문에, 이 결과는 모델의 일반적인 능력이 아니라 그런 능력을 갖고 있다는 존재 증명 정도로 보는 게 타당하다.

떠올려라, 떠올리지 마라

특정 개념을 떠올리라는 지시에 따라 내부 표현이 조절되는 예시

앞선 실험들이 ‘읽기’를 봤다면, 마지막 실험은 ‘쓰기’를 살펴봤다. 무관한 문장을 옮겨 적게 하면서 상관없는 단어를 “떠올려라” 또는 “떠올리지 마라"고 지시하고, 그 단어의 표현이 계산값에 얼마나 실리는지 쟀다. 모델은 떠올리라고 하면 그 단어를 더 강하게 표현했고, 떠올리지 말라고 하면 약하게 표현했다. “떠올리면 보상을 주겠다"는 식의 인센티브도 비슷하게 작동했다. 이 기본 결과는 능력과 상관없이 모든 모델에서 나타났다.

세대 차는 마무리에서 드러났다. Opus 4.1 같은 최근 모델은 떠올린 단어의 표현이 마지막 계층에서 잦아들어 출력에는 영향을 주지 않았다. 떠올린 표현을 말로는 옮기지 않은 것이다. 반면 Claude 3 계열의 구 버전 모델들은 그 표현이 끝까지 남아 출력되었다.

그래서 무엇이 달라지나

자기 내부를 정확히 읽는 모델은 설명 가능성을 높인다. 자기 불확실성을 알리고, 추론의 허점을 짚고, 행동의 동기를 근거 있게 밝힐 수 있게 된다.

동시에 같은 능력은 위험하기도 하다. 자기 목표가 만든 사람의 의도와 어긋난다는 것을 더 잘 알아채는 모델은, 그 사실을 선택적으로 감추거나 왜곡해 보고할 수도 있다. 저자는 그런 세계에서 해석가능성 연구의 핵심이 기제를 해부하는 일에서 모델의 자기보고를 검증하는 ‘거짓말 탐지기’를 만드는 일로 옮겨갈 수 있다고 적었다.

연구는 AI 모델이 의식을 갖고 있다거나 AI 모델의 어떤 도덕적 지위를 함의하는 게 아니라는 당부 역시 분명히 하고 있다. 트랜스포머의 구조는 생물학적 뇌와 크게 다르고, 여기서 관찰된 기능이 인간에게서 갖는 철학적 무게를 그대로 지니는지는 열린 문제로 남는다. 그럼에도 더 유능한 모델일수록 이 능력이 강해지는 경향은 주의 깊게 지켜볼 만하다.

모델과 계층에 관한 메모

계층별 성능 곡선 (Opus 4.1)

모델별 순성능: 맞게 감지한 비율에서 잘못 감지한 비율을 뺀 값

세부 비교에서 나온 것들이다.

  • 시험한 모델 중 가장 유능한 Opus 4와 4.1이 가장 두드러졌다. 그 아래 모델들에서는 성능이 자신의 생각을 자각하는 능력과 뚜렷이 비례하지는 않았다.
  • 사후학습이 결과를 크게 좌우했다. 일부 옛 모델은 이런 과제 참여 자체를 꺼렸고, 거부를 줄이도록 다시 훈련한 변형은 더 잘했다. 사전학습만 거친 베이스 모델은 잘못된 감지가 많아 순성능이 0을 넘긴 경우가 없었다. 자기 인식을 끌어내는 데 사후학습이 관건이라는 방증이다.
  • 실험마다 민감한 계산 계층이 달랐다. 자기 개념을 알아차리는 일과, 자기 답의 진위를 가리는 일은 서로 다른 지점에 의존했다. 하나의 기제가 아니라 여러 기제의 묶음이라는 뜻이다.