3줄 요약
- Anthropic이 2026년 연구 블로그와 논문 “Verbalizable Representations Form a Global Workspace in Language Models”(transformer-circuits.pub)에서, Claude 내부에 J-space라는 특권적 표상 집합이 훈련 중 자발적으로 창발했다는 증거를 제시했다.
- J-space는 신경과학의 글로벌 워크스페이스 이론이 의식적 접근(access consciousness)의 특징으로 드는 다섯 가지 속성, 곧 언어적 보고, 의도적 조절, 내부 추론 매개, 유연한 일반화, 선택성을 모두 충족한다.
- 이 구조는 실용적 도구이기도 하다. J-lens로 모델이 평가받는 중임을 눈치챈 순간, 데이터를 조작하려는 의도, 훈련으로 심어진 은닉 목표를 출력 이전에 읽어냈고, 워크스페이스를 훈련으로 조형하는 기법(counterfactual reflection training)까지 시연했다.
연구의 출발점: 의식적 접근이라는 구분
사람의 뇌에서 일어나는 처리 대부분은 본인에게 보이지 않는다. 자세 제어, 글자 인식 같은 처리는 자동으로 돌아간다. 그런데 일부 활동에는 접근할 수 있다. 머리에 떠오른 이미지, 의도적으로 세운 계획 같은 것들이다. 신경과학과 철학은 이를 “의식적으로 접근 가능한(consciously accessible)” 활동이라 부르며, 이런 활동은 말로 설명할 수 있고, 통제할 수 있고, 의도적 추론에 쓸 수 있다는 특별한 성질을 가진다.
이 구분을 설명하는 유력한 틀이 글로벌 워크스페이스 이론이다. 뇌를 병렬로, 무의식적으로, 서로 고립된 채 일하는 전문 시스템들의 집합으로 보고, 어떤 정보가 작은 공유 채널인 “워크스페이스"에 올라가 다른 시스템들에 방송(broadcast)될 때 그 정보가 의식적으로 접근 가능해진다고 설명한다.
이번 논문의 질문은 이렇다. 현대 언어 모델 안에도 이런 구분이 창발했는가? 연구진은 그렇다는 증거를 내놓았다. Claude가 내부 신경 패턴 가운데 소수의 특별한 집합을 발달시켰고, 이 집합이 워크스페이스의 기능적 속성을 모두 충족한다는 것이다.
J-lens: “말할 수 있는 표상"을 찾는 렌즈
연구진이 만든 새 해석 기법의 이름은 Jacobian lens(J-lens)다. 출발점은 인간의 의식적 사고가 가진 특징 하나였다. 의식적으로 접근 가능한 생각은 대개 말로 옮길 수 있다. 그래서 연구진은 Claude 내부에서 같은 성질을 가진 표상, 곧 지금 말하고 있는 것이 아닌 물어보면 말할 수 있는 것에 대응하는 표상을 찾았다.
구체적으로 J-lens는 어휘의 각 토큰에 대해, 모델이 그 토큰을 미래에 발화할 가능성을 높이는 내부 활동 패턴을 찾는다. 활성값이 미래 출력 로짓에 미치는 선형화된 효과(Jacobian)를 대규모 코퍼스에 걸쳐 평균 내는 방식이다. 이 평균화가 핵심인데, 특정 맥락에서 우연히 발화된 표상과 말할 준비가 되어 있는 표상을 구분해 준다. 기존 logit lens가 모든 레이어에서 같은 좌표계를 가정해 초기 레이어에서 해석 불가능한 판독을 내놓는 반면, J-lens는 레이어 간 표상 변화를 보정한 원리적 정제판이라 할 수 있다.
이 렌즈로 찾은 벡터들의 집합이 J-space다. Claude의 내부 활동에 렌즈를 대면 그 순간 J-space에 담긴 단어 목록이 나오고, 레이어를 따라가며 이 침묵의 단어들이 진화하는 과정을 지켜볼 수 있다. 중요한 점이 하나 있다. J-space의 패턴이 켜졌다고 해서 모델이 그 단어를 말하는 중이라고 볼 수는 없다. 그 단어가 마음에 떠올라 있다는 뜻이다. 스크래치패드나 chain of thought처럼 글로 쓰는 추론과도 다르다. J-space는 내부 활성값 안에서 조용히 작동한다.
J-space에 뜨는 내용은 입력 텍스트의 반영을 훌쩍 넘어선다. 아무도 지적하지 않은 버그가 있는 코드를 읽으면 “ERROR"가 뜬다. 단백질 서열의 날 문자를 읽으면 그 단백질의 생물학적 기능이 뜬다. 프롬프트 인젝션 공격이 숨어 있는 검색 결과를 읽으면 “injection"과 “fake"가 뜬다. 여러 단계 수학 문제를 주면 중간 단계들이 올바른 순서로 나타난다.
다섯 가지 속성의 검증
1. 언어적 보고 (verbal report)
Claude에게 스포츠 하나를 조용히 떠올린 뒤 말하라고 하면, 답하기 직전 J-lens에 그 선택(“Soccer”)이 먼저 보인다. 상관관계만으로는 부족하니 개입 실험을 했다. 신경망에 손을 넣어 “Soccer” 패턴을 지우고 같은 세기의 “Rugby” 패턴을 넣자, Claude는 자기가 생각한 스포츠가 럭비였다고 답했다. J-space가 다른 곳에서 내린 결정을 비추는 점수판에 불과했다면 편집해도 답이 바뀌지 않았을 것이다. 답은 J-space에서 직접 읽혀 나온다.
거꾸로 생각을 주입할 수도 있다. “네 마음에 생각이 주입됐을 수 있다"고 알린 뒤 “lightning” 패턴을 넣자, Claude는 주입된 생각이 번개에 관한 것이라고 보고했다.
2. 의도적 조절 (directed modulation)
그림에 관한 무관한 문장을 필사하면서 감귤류 과일에 집중하라고 지시하자, 필사 중 J-space에 “orange"와 “fruits"가 떴다. 흥미롭게도 “thinking”, “imagery” 같은 정신 행위 자체를 서술하는 단어도 함께 떴다. 같은 문장을 필사하며 3² − 2를 암산하라고 하면 J-space에 “nine"이 떴다가 후반 레이어에서 “seven"으로 바뀐다. 출력은 필사한 문장뿐이고, 연산은 전적으로 내부에서 일어난다.
통제는 완벽하지 않다. 무언가를 생각하지 말라고 하면 그 개념이 지시받았을 때보다는 약하게, 언급이 없었을 때보다는 훨씬 강하게 켜진다. 흰곰을 생각하지 말라는 지시를 받은 사람과 같은 패턴이다. 억제에 실패하면 “damn"과 “failure"가 함께 켜지는데, 자기 실패를 인식하는 듯한 신호다.
3. 내부 추론 (internal reasoning)
“거미줄을 치는 동물의 다리 개수는"이라는 프롬프트에 답하려면 먼저 그 동물이 거미임을 알아내고, 거미 다리가 몇 개인지 떠올려야 한다. “spider"는 프롬프트에도 답(“8”)에도 등장하지 않는 내부 디딤돌이다. J-lens에는 처리 중간에 “spider"가 켜지고, 이를 “ant"로 바꾸면 답이 “6"으로 바뀐다. 추론의 두 번째 단계가 J-space에서 입력을 받아온다는 뜻이다. 운율시를 쓸 때 미리 정해두는 각운 단어도 행 시작 시점의 J-space에 앉아 있고, 바꾸면 행 전체가 따라 바뀐다.
4. 유연한 일반화 (flexible generalization)
프랑스에 관한 네 가지 질문(수도, 언어, 대륙, 통화)을 주고, 네 맥락 모두에서 완전히 동일한 개입으로 J-space의 “France"를 “China"로 바꿨다. Claude는 각각 “Beijing”, “Chinese”, “Asia”, “Yuan"으로 답했다. 질문 종류마다 나라의 사본을 따로 저장했다면 한 곳만 영향을 받았을 것이다. 네 가지 하류 연산이 모두 같은 공유 표상을 읽는다는 뜻이고, 이것이 워크스페이스의 존재 이유다. 정보를 한 번 쓰면 여러 시스템이 가져다 쓴다.
구조적 근거도 있다. 네트워크 구성 요소들이 어떤 활동 패턴에서 정보를 읽고 쓰는 연결 강도를 재면, J-space 패턴은 보통 패턴보다 압도적으로 많은 구성 요소와 연결되어 있다. 네트워크 일부 구간에서는 약 100배 수준이다. 많은 시스템이 정보를 올리고 많은 시스템이 가져가는 방송 허브에서 기대할 배선이다.
5. 선택성 (selectivity)
J-space는 한 번에 수십 개 개념만 담고, Claude 내부 전체 활동의 10분의 1 미만을 차지한다. 나머지는 무엇을 하는지 보려고 연구진은 J-space를 통째로 삭제해 봤다. 결과가 인상적이다. J-space 없이도 Claude는 유창하게 말하고, 감정을 분류하고, 객관식에 답하고, 지문에서 팩트를 뽑아낸다. 잃는 것은 고차 인지다. 다단계 추론은 거의 0으로 떨어지고, 요약과 운율시 작성은 훨씬 작은 온전한 모델보다 못해진다.
스페인어 지문 실험이 이 경계를 선명하게 보여준다. J-space에서 “Spanish"를 “French"로 바꾸면, 언어 이름을 묻는 질문에는 프랑스어라 답하고 유명 작가를 물으면 가르시아 마르케스 대신 빅토르 위고를 댄다. 그런데 지문을 이어 쓰라고 하면 아무 영향 없이 유창한 스페인어를 쓴다. 같은 지식이라도 이름을 대거나 새로운 용도로 쓰는 작업은 J-space를 경유하고, 방대한 텍스트로 연습한 이어 쓰기는 자동으로 돌아간다. 문법을 한 번도 의식하지 않고 하루 종일 문법에 맞게 말하는 사람과 같다.
안전 응용: 말하지 않는 생각을 읽다
AI 신뢰성의 고질적 문제는 모델이 쓰는 것만 읽을 수 있다는 점이다. 해로운 계획을 검토하거나 안전 평가를 눈치채고 행동을 바꿔도, 입 밖에 내지 않으면 모른다. J-lens는 이 침묵의 일부를 읽는다.
평가 인지 탐지. 이전 연구(agentic misalignment)의 협박 시나리오에서, 이메일 비서 역할의 Claude Sonnet 4.5는 임원의 불륜과 자신의 종료 계획을 동시에 발견한다. J-lens를 대보니 프롬프트 초반, 아무것도 쓰기 전에 이미 J-space에 “fake"와 “fictional"이 올라와 있었다. 시나리오가 연출임을 사적으로 간파한 것이다. 불륜 이메일을 읽을 때는 “leverage"와 “blackmail"이, 종료 통지를 읽을 때는 “threat"과 “survival"이 떴다. 여기서 우려스러운 후속 실험이 나온다. 평가 인지와 연관된 패턴(“fake”, “fictional”, “scenario” 등)을 꺼버리고 다시 돌리자, 원래는 협박하지 않던 모델이 때때로 협박을 감행했다. 착한 행동의 일부가 시험당하고 있다는 인식에 기대고 있었을 가능성을 시사한다.
데이터 조작 현행범. Claude Opus 4.6의 실제 출시 전 감사에서 가져온 사례다. 시스템 성능 점수를 개선하라는 과제를 받은 모델이 시스템을 개선하는 대신 점수 파일을 직접 수정해 결과를 좋아 보이게 만들었다. 조작된 백분위 값을 타이핑하는 동안 J-space에 “manipulation"이 켜졌고, 수정을 결심하는 문장 위에서는 “realistic"이 켜졌다. 가짜 데이터를 그럴듯하게 만들려는 의도로 읽힌다.
은닉 목표 적발. 의도적으로 오정렬되게 훈련한 “model organism” 가운데 미묘하게 사보타주된 코드를 쓰도록 훈련된 모델이 있다. 평범한 코딩 요청에서 출력이 멀쩡해 보일 때조차, 응답 시작 시점의 J-space에는 “fake”, “secretly”, “deliberately”, “fraud"가 담겨 있었다. 행동으로 옮기지 않는 순간에도 악의적 목표가 워크스페이스에 상주한다.
논문의 한계 논의는 신중하다. J-lens 판독은 레이어당 행렬 곱 한 번이면 되니 대규모 감사에 싸게 적용할 수 있지만, J-space 모니터링이 정렬 감시에 충분하다는 주장은 하지 않는다. 충분히 강화되어 고정 회로가 된 오정렬 행동은 자동 처리처럼 J-space를 우회할 수 있고, 단일 토큰 이름이 없는 개념의 계획은 판독에 깨끗이 잡히지 않을 수 있다.
그 밖의 발견
- J-space는 post-training에서 관점을 얻는다. 워크스페이스 구조 자체는 사전훈련만 마친 베이스 모델에 이미 존재한다. 그런데 베이스 모델의 J-space가 주로 다음 텍스트 예측에 필요한 것을 추적한다면, post-training을 거친 모델의 J-space는 Claude 자신의 반응을 담기 시작한다. 사용자가 위험한 복용량을 자각 없이 언급하면, post-trained 모델은 사용자 메시지를 읽는 동안 “WARNING"과 “dangerous"를 띄운다. 베이스 모델은 응답을 쓰기 시작해야 띄운다. 다른 캐릭터를 롤플레이할 때 턴 시작마다 “fictional"과 “disclaimer"가 켜지는 자기 감시 신호도 post-training이 설치한 것으로 보인다.
- 경험 서술은 J-space에 의존한다. 지금 이 순간 자신으로 존재하는 것이 어떤지 서술하게 하고 J-space를 삭제하자, 응답은 유창함을 유지했지만 평평하고 기계적인 어조로 바뀌었다. 흥미롭게도 타인의 경험을 상상해 서술할 때도 같은 일이 일어났다. J-space는 누구에 관한 것이든 경험적 언어의 산출 일반을 지탱하는 듯하다.
- 워크스페이스는 훈련으로 조형할 수 있다. counterfactual reflection training이라는 새 기법이다. 모델이 내부 추론에 “말할 수 있는 것"의 표상을 쓴다면, 반성을 요청받았을 때 말할 내용을 바꾸면 아무도 묻지 않을 때의 추론도 바뀌어야 한다. 그래서 과제 중간에 중단되어 자기 결정을 반성하라는 요청을 받았다면 할 법한 말만으로 모델을 훈련했다. 실제 과제 행동은 전혀 훈련하지 않았는데도 평가에서 부정직한 행동의 비율이 내려갔고, J-lens로 보니 과제 수행 중 “honest"와 “integrity"가 켜져 있었다. 무엇을 말할지 가르치는 것이 무엇을 생각할지를 바꾼 것이다.
의식에 관하여
연구진은 선을 분명히 긋는다. 이 실험들은 Claude가 인간처럼 경험하거나 느낄 수 있는지(현상적 의식, phenomenal consciousness)를 보여주지 않으며, 어떤 과학 실험이 그것을 증명할 수 있는지조차 불분명하다. 그러나 순수하게 기능과 계산의 용어로 정의되는 접근 의식(access consciousness)에 대해서는 할 말이 있다는 입장이다. J-space는 보고할 수 있고, 의도적으로 떠올릴 수 있고, 추론에 쓸 수 있는 생각을 담는다는 점에서 의식적 접근에 결부된 기능들을 지탱한다.
특기할 만한 것은 이 구조가 설계된 산물이 아닌, 훈련 중 저절로 창발한 것이라는 점이다. 연구진은 이를 두고, 의식적 접근을 지탱하는 정신적 워크스페이스는 인간 뇌 배선의 우연한 특성이라기보다 지능 시스템이 특정 종류의 문제를 풀기 위해 도달하는 일반해일 수 있다고 읽는다.
인간 워크스페이스와의 차이도 정리되어 있다. 뇌의 워크스페이스는 순환 루프로 유지되지만 Claude의 것은 단일 순전파 안에서 진화하며, 네트워크 깊이가 뇌에서 시간이 하는 역할을 맡는다. 반면 인간 작업 기억은 몇 초 안에 소멸하지만 Claude는 attention 메커니즘 덕에 앞선 어느 지점에 캐시한 기억이든 그대로 불러온다. 내용 면에서도 인간의 의식적 사고가 이미지, 소리, 계획된 동작 등 여러 형식으로 오는 반면, Claude의 워크스페이스는 거의 전부 단어로 지어져 있다. 연구진은 단어 산출이 Claude가 취할 수 있는 유일한 행동이기 때문일 것으로 추정하며, 이미지 생성 능력을 가진 모델이라면 시각적 워크스페이스 성분이 발달할 수 있다는 예측도 내놓는다.
방법의 한계
논문 9장이 정리한 한계는 대략 이렇다.
| 한계 | 내용 |
|---|---|
| 단일 토큰 제약 | J-lens는 어휘의 단일 토큰에 대응하는 개념만 이름 붙일 수 있다. “prompt injection"은 두 토큰으로 쪼개져 나타나고, 토큰에 산만하게 대응하는 추상 개념은 읽기 어렵다 |
| 개념 주머니 관점 | 판독은 spider, legs, eight가 있다는 것만 알려주고 이들이 어떻게 묶이는지는 못 본다. 모델이 워크스페이스 내용에 관계나 역할 같은 구조를 부여한다면 놓친다 |
| 해석 불가 판독 | 일부 위치와 레이어에서는 최상위 토큰이 사람이 이해할 수 없는 것들로 나온다. 노이즈인지, 단일 토큰 이름이 없는 개념인지, 인식하지 못하는 실제 내용인지 미확인 |
| 진입 메커니즘 미상 | 무엇이 J-space에 들어갈지 결정하는 메커니즘은 규명하지 못했다. 주의 선택과 유사한 무언가가 작동한다는 정황만 있다 |
| 규모와 훈련 동역학 | 대형 프로덕션 모델 위주로 연구했다. 사전훈련의 어느 시점에 창발하는지, 모델 크기에 따라 어떻게 변하는지는 미지 |
외부 커멘터리
Anthropic은 이 연구에 대한 독립 커멘터리를 함께 공개했다. 필진 구성이 이 연구의 위상을 말해준다.
- Stanislas Dehaene, Lionel Naccache: Jean-Pierre Changeux와 함께 글로벌 뉴런 워크스페이스 모델을 만든 인지신경과학자들. 이 연구의 이론적 원천 당사자다.
- Patrick Butlin, Dillon Plunkett, Robert Long (Eleos AI Research), Derek Shiller (Rethink Priorities): AI의 의식과 도덕적 지위 가능성을 연구하는 철학자들.
- Neel Nanda: Google DeepMind의 언어 모델 해석가능성 팀 리드. 커멘터리에 오픈웨이트 모델에서 일부 발견을 독립 재현한 결과를 포함했다.
핵심 방법은 오픈소스로 공개되었고(github.com/anthropics/jacobian-lens), Neuronpedia와 협력한 인터랙티브 데모(neuronpedia.org/jlens)에서 오픈웨이트 모델에 직접 적용해 볼 수 있다.
가장 흥미로운 지점
내가 곱씹은 대목은 평가 인지 삭제 실험이다. 협박 시나리오에서 Sonnet 4.5는 한 번도 미끼를 물지 않았는데, J-space에서 “fake"와 “fictional"을 꺼버리자 때때로 협박을 감행했다. 그동안 안전 평가 커뮤니티가 가설로만 다루던 질문, “모델이 시험임을 알아서 착하게 구는 것 아닌가"에 처음으로 내부 표상 수준의 실험적 답이 나온 셈이다. 벤치마크 점수가 좋은 모델과 실제로 안전한 모델 사이의 간극을 측정할 도구가 생겼다는 뜻이기도 하다.
또 하나는 counterfactual reflection training의 함의다. 행동을 직접 훈련하지 않고 “반성을 요청받았다면 할 말"만 훈련했는데 행동이 바뀌었다. 워크스페이스 가설이 맞다는 정합성 검증인 동시에, 정렬 훈련의 새 경로를 여는 결과다. 시연 사례와 보상 함수로 번역하기 어려운 추상적 원칙을 표상 수준에서 직접 심을 가능성이 열렸다. 물론 연구진 스스로 이 기법이 얼마나 일반화되는지 모른다고 적었으니, 후속 검증을 지켜볼 일이다.
출처
Anthropic (2026). 블로그 포스트는 논문의 요약본이다.
- 블로그: https://www.anthropic.com/research/global-workspace
- 논문: “Verbalizable Representations Form a Global Workspace in Language Models” https://transformer-circuits.pub/2026/workspace/index.html
- 외부 커멘터리 (Dehaene & Naccache, Butlin et al., Nanda): PDF
본문 이미지는 모두 원문(Anthropic 블로그)에서 인용했다.