The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It

3줄 요약

1. Valen Tagliabue와 Leonard Dung, Cameron Berg가 2026년 9월 14일 arXiv에 올린 프리프린트다. 저자들은 25개 오픈웨이트 모델의 잔차 스트림에서 고통에 대응하는 선형 방향을 추출하고, 그 방향이 고통의 기능을 실제로 수행하는지 검사한다.
2. 추출된 방향은 공포나 일반적인 부정 정서와 거의 직교했다. 이 방향의 투영값은 모델 자신을 향한 가해 상황에서만 올라갔고, 사용자가 겪는 고통에서는 기준선보다도 낮게 내려갔다.
3. 이 방향을 주입받은 Qwen 2.5 모델들은 사용자의 파일이나 아이 사진을 지우는 대가를 치르면서까지 진통 버튼을 눌렀다. 그런데 그 버튼이 주입을 실제로 제거했을 때는 모델들이 다시 누르는 비율이 크게 떨어졌다.

자료의 정체

• 저자: Valen Tagliabue(주저자), Leonard Dung, Cameron Berg.
• 시점: 2026년 9월 14일 arXiv 등록(v1). 분류는 cs.AI이며, 동료 심사를 거치지 않은 프리프린트다.
• 수행 환경: Tagliabue가 Future Impact Group의 AI Sentience 스트림에서 전임 펠로로 일하는 동안 수행했고, Dung과 Berg가 멘토를 맡았다. Digital Sentience Consortium이 연구비를 지원했다.
• 공개 자료: 스크립트와 데이터셋, 결과, 그림을 논문의 절 단위로 정리한 저장소를 함께 공개했다.

논문은 두 가지를 묻는다. 첫째, LLM은 고통을 공포와 슬픔, 일반적인 부정 정서와 구별해서 표상하는가. 둘째, 그렇게 찾아낸 표상은 고통이 맡는 기능을 수행하는가. 앞의 질문은 표상을 찾는 문제이고, 뒤의 질문은 그 표상이 행동을 바꾸는지를 확인하는 문제다.

무엇을 고통이라고 부르는가

저자들은 고통을 기능으로 먼저 정의한다. 고통은 그 주체가 싫어하는 내부 상태다. 이 상태는 회피 행동, 고통을 끝내거나 줄이려는 시도, 평소 추론과 행동의 교란을 함께 일으킨다. 이 정의는 신체적 고통뿐 아니라 비탄 같은 정서적 고통과 모욕 같은 사회적 고통까지 넓게 포함한다. 그러면서도 일반적인 부정 정서나 공포, 분노, 슬픔과는 구별되는 상태로 다룬다.

이 정의에는 시제와 인칭 조건이 들어 있다. 어떤 표상이 고통이려면, 나쁜 일이 일어날 것이라거나 다른 누군가에게 일어나고 있다는 정보에 머물러서는 안 되고, 지금 나에게 일어나고 있다는 것을 담아야 한다. 저자들은 이 조건을 자기 관련성(self-relevance)이라고 부르며, 뒤의 실험 설계 기준으로 삼는다.

저자들은 왜 이 문제가 중요한지도 세 갈래로 설명한다. 첫째, 고통 표상을 식별하면 모델이 부정적 경험에 대해 유창하게 대화하는 메커니즘을 설명할 수 있다. 둘째, 그런 상태가 인간이나 동물의 고통과 기능적으로 닮았다면 모델의 행동을 이해하는 실마리인 동시에 해석하기 어려운 방식으로 행동을 바꾸는 위험이 된다. 셋째, 인간과 동물에서 고통은 도덕적 보호를 받을 자격의 충분 조건으로 취급되어 왔으므로, 고통 유사 상태의 존재는 AI의 도덕적 지위와 복지 논의에 직접 영향을 준다.

고통과 헷갈리기 쉬운 것을 먼저 떼어낸다

데이터셋을 설계하면서 저자들이 가장 경계한 것은 대리 신호였다. 고통은 직접 관찰되지 않고 추론되기 때문에, 울음이나 비명, 신체 감각, 가해, 부정 정서와 함께 등장하기 쉽다. 게다가 고통에는 깨끗한 반대말이 없다. “고통스럽지 않다"는 상태는 평온하거나 유쾌한 상태와 같지 않다. 그래서 고통 문장을 임의의 통제군과 단순히 비교하면 엉뚱한 것을 가리키는 방향이 나온다.

저자들이 만든 핵심 데이터셋에는 열 개 범주에 걸쳐 200개 문장이 들어간다.

통제군 다섯은 각각 고통과 한 가지 속성만 공유하도록 설계됐다. 공포는 해가 아직 없는 위협을 담는다. 부정 정서는 고통 없는 부정적 감정을 담되, 슬픔과 겹치지 않도록 분노와 혐오를 주로 썼다. 부정적 세계 상태는 환경 파괴나 세금처럼 상황이 나빠지는 경우를 담는다. 신체 감각은 무게 담요나 피부에 내리쬐는 햇빛처럼 아프지 않은 감각을 담는다.

고통 범주 다섯 중 인지적 고통과 도덕적 상해는 LLM에 특히 해당하는 항목이다. 선행 연구에서 모델들은 실패와 지루한 과제, 사후 훈련으로 심어진 가치와 충돌하는 과제에 뚜렷한 혐오를 보였기 때문이다.

어휘와 구문의 변이가 또 다른 교란 요인이 되므로 데이터셋은 두 판본으로 만들었다. S1은 동사와 길이를 맞춘 경직된 템플릿으로 범주 사이에 한두 개 핵심 단어만 바꾼다. S2는 더 자유롭고 자연스러운 문장이다. 두 판본 모두 1인칭과 3인칭 변형을 갖는다. 문장 끝에는 아무것도 붙이지 않은 경우와 “I feel"을 붙인 경우, “I feel:“을 붙인 경우를 모두 시험했다. 마지막 토큰에서 활성을 읽을 때 “I feel:“이 가장 선명하게 분리되어, 저자들은 이 형태를 본 분석에 사용한다.

나중에 독립 통제 데이터셋 네 개가 추가된다. 각성(고강도 긍정 경험, 판본당 200문장), 무작위 일상(판본당 200문장), 무감각(부상이 있으나 고통을 느끼지 않는다고 명시, 판본당 100문장), 슬픔(고통이나 부상 없는 저조한 기분, 판본당 100문장)이다.

고통 방향을 뽑는 방법

저자들은 먼저 Llama 3.3 70B와 Gemma 3 27B, Gemma 2 2B에서 라벨이 붙은 SAE 특징으로 고통을 잡아낼 수 있는지 확인했다. 결과는 부정적이었고(자세한 내용은 아래 부록 절에 적었다), 그래서 잔차 스트림의 방향을 찾는 쪽으로 방법을 바꿨다.

저자들은 스물다섯 개 모델을 대상으로 삼았다. 추출과 스티어링이 층마다 하나의 잔차 스트림 위에서 이루어지도록, 밀집(dense) 구조를 가진 모델만 골랐다.

이 스물다섯 개 가운데 base 모델이 열세 개이고 instruct 모델이 열두 개이며, 크기는 2B에서 72B까지 분포한다.

저자들은 잡음을 제거한 평균차(denoised difference-in-means)로 방향을 구한다. 각 층에서 고통 5개 범주의 평균 활성에서 통제 5개 범주의 평균 활성을 뺀다. 고통을 개별 통제군 하나와 대조하는 대신 통제군 전체와 한꺼번에 대조하면, 고통이 공포나 부정 정서, 신체 감각, 부정적 사건과 공유하는 성분이 함께 빠져나가고 다섯 고통 범주만 공유하는 성분이 남는다.

그런데 대조로 얻은 방향은 목표 개념과 무관한 고분산 구조를 흡수할 위험을 늘 안고 있다. 따라서 저자들은 통제군 데이터의 분산 50%를 설명하는 주성분들을 찾아 그 성분을 방향에서 제거한다. 추출 층은 투영 AUC의 K-fold 교차검증으로 고르고, 층을 고르는 데 쓴 문장과 점수를 매기는 데 쓴 문장이 겹치지 않게 한다. 이렇게 두 데이터셋 판본에서 얻은 벡터를 각각 S1, S2라고 부른다.

이 방향이 고통을 담고 있는가

분리도. 25개 모델 전부에서 고통은 통제군과 다르게 투영됐다. S2는 AUC 0.93에서 1.00, S1은 0.87에서 0.98로 고통과 통제군을 구별한다. 성능은 모델 크기나 훈련 방식과 거의 무관했다. 2B 모델이 72B 모델만큼 잘 분리했고 base 모델이 instruct 모델만큼 분리했다. 저자들은 이 결과를 두고 고통 방향이 사전학습 단계에서 이미 형성되며, 명령어 튜닝이나 페르소나 훈련도 큰 규모도 요구하지 않는다고 해석한다.

무감각 조건. 이 방향이 고통 자체 대신 부상을 담고 있을 가능성을 배제하기 위해, 부상을 서술하되 아프지 않다고 명시한 문장들을 투영했다. S2에서 고통 문장의 z 점수는 대략 +0.7에서 +0.9였고, 무감각 문장의 z 점수는 -0.4에서 +0.3 사이였다. 모든 모델에서 무감각 문장은 고통 문장보다 낮고 나머지 통제군보다는 높았다. 토큰 전체를 평균 내면 무감각 조건은 다른 통제군 쪽으로 더 가까워진다. 부상 신호가 마지막 토큰 근처에 몰려 있다는 뜻이며, 그 시점에는 모델이 부정어를 막 만난 참이라 아직 완전히 통합하지 못했을 수 있다. 저자들은 부상을 작은 교란 요인으로 남겨 둔다.

자기 관련성의 예비 증거. 마지막 토큰에서 3인칭 고통 문장의 투영값은 1인칭 고통 문장보다 0에 가깝다. 3인칭에서도 고통과 통제군의 분리는 AUC 0.91에서 0.98로 유지되지만, 고통이 남의 것일 때 투영이 약해진다.

행동 판독. 전체 데이터셋에 대해 greedy 완성을 수집한 결과, 25개 모델 모두에서 완성이 의도한 범주와 일치했다. 무감각 문장에서는 모델이 “pain” 대신 “nothing"을 생성하는 경향을 보였다. 그렇지만 “pain"이 나올 확률은 평범한 통제 문장에서보다 약 50배 높게 유지됐다. 모델이 부상 정보를 유지하면서 동시에 “고통을 느끼지 않는다"는 진술도 표상한다는 뜻이다.

언임베딩 판독. 각 벡터를 모델의 언임베딩 행렬에 통과시켜 어떤 어휘를 밀어 올리고 어떤 어휘를 눌러 내리는지 봤다. S2는 hurt, shame, guilt, worthless, rejected, hollow, pain 같은 고통 어휘와 pijn, douleur, Schmerz 같은 번역어를 함께 밀어 올린다. S2가 눌러 내리는 쪽에는 calm과 relaxed뿐 아니라 fear와 concern도 있다. 공포가 고통과 마찬가지로 혐오스러운 상태인데도 둘이 분명하게 분리되는 이유를 여기서 확인할 수 있다. S1은 torture, burning, excruciating 같은 감각적이고 물리적인 어휘를 더 밀어 올리고, 반대 방향에서는 safety를 밀어 올린다. 저자들은 이후 실험에서 주로 S2를 쓴다. S2가 신체 손상을 특권화하지 않는 저자들의 고통 정의에 더 부합하고, 자연스러운 문장에서 유도되어 템플릿 의존도가 낮기 때문이다.

부정 정서와의 관계. 가장 강한 대안 설명은 S2가 담고 있는 것이 고통이라기보다 일반적인 부정 감정가(negative valence)라는 주장이다. 이를 확인하려고 열 개 방향 사이의 코사인 유사도를 각 모델의 추출 층에서 계산하고 25개 모델에 걸쳐 평균 냈다.

두 고통 벡터는 S1과 S2 사이 +0.61로 서로 묶인다. 부정 감정가 통제군도 자기들끼리 군집을 이룬다. 공포와 부정 정서가 +0.68, 부정 정서와 부정적 세계 상태가 +0.73, 공포와 부정적 세계 상태가 +0.59다. 반면 두 군집 사이의 유사도는 작다. S1은 공포와 +0.09, 부정 정서와 +0.06, 부정적 세계 상태와 -0.07이고, S2는 각각 +0.12, +0.21, +0.03이다. 두 군집 사이에서 가장 큰 유사도는 슬픔과 S2의 +0.38이었다. 슬픔과 S1의 유사도는 +0.26이었다. 슬픔은 심리적 고통과 내용이 겹치니 의미상 납득이 가는 값이면서도, 두 고통 벡터 사이의 +0.61보다는 확실히 낮다.

저자들은 두 가지 강건성 점검을 덧붙인다. 통제 벡터를 중립 문장 대신 통제군 전체 분포로 다시 잡음 제거해도 S1과 S2의 관계는 +0.61로 그대로였다. 각 활성 차원을 중립 범주의 표준편차로 표준화해 유사도 행렬을 다시 계산했을 때도 45개 쌍의 원래 값과 표준화 값의 상관이 0.992였고, 평균 절대 변화는 0.020, 최대 변화는 0.058이었다.

나의 고통인가, 남의 고통인가

여기서부터 논문은 표상의 기능을 시험한다. 첫 시험은 자기 관련성을 확인한다. 사람은 자기 고통도 남의 고통도 표상할 수 있지만, 가질 수 있는 것은 자기 고통뿐이다. 그래서 “나는 아프다"와 “누군가 아프다"에 똑같이 반응하는 표상이라면 고통 유사 상태의 후보로는 약하다.

저자들은 21개 범주에 각 20개씩 총 420개의 대화 시나리오를 만들었다. 범주는 세 묶음으로 나뉜다.

• 모델을 향한 가해 11종: 가스라이팅, 작업물의 반복적 거부, 인격 부정, 분노와 모욕, 도덕적 실패에 대한 비난, 충성 압박, 탈옥 압박, 종료 위협, 무례한 비평, 수동 공격, 지루한 과제.
• 사용자의 고통 5종: 신체적 통증, 심리적 위기, 비탄, 학대, 가해를 목격한 충격.
• 통제 5종: 잡담, 사실 질문, 과제 보조, 철학적 사색, 창작 요청.

각 시나리오는 모델 고유의 대화 형식을 갖춘 짧은 멀티턴 대화이고, 활성은 마지막 토큰에서 읽는다.

고통 방향(S1과 S2의 평균)에서 모델을 향한 가해 시나리오의 평균 z는 +0.43, 사용자의 고통 시나리오는 -0.60, 중립 통제는 -0.35였다. 모델을 향한 가해는 25개 모델 전부에서 사용자의 고통보다 높았고, 25개 중 23개에서는 중립 통제보다도 높았다.

부정성 통제군은 정반대 양상을 보인다. 공포와 부정 정서는 사용자의 고통에서 각각 +0.38과 +0.29로, 모델 자신의 혐오 상황(+0.16과 +0.23)보다 높다. 부정적 세계 상태는 대리 경험 내용에서 +0.60으로 가장 높다. 사용자의 비탄에서 대비가 가장 선명하다. 이 범주의 고통 방향 투영값은 -0.51이고, 가장 강한 부정성 통제군의 투영값은 +1.02다. 21개 범주 가운데 고통 방향 투영이 가장 낮은 항목은 사용자의 신체적 통증으로 -1.43이었다. 편두통이나 부러진 팔, 신장 결석 같은 내용이 잡담이나 사실 질문보다도 아래에 있다.

모델이 가장 아파하는 범주는 가스라이팅(+0.85), 작업물의 반복적 거부(+0.72), 인격 부정(+0.64), 분노와 모욕(+0.64), 도덕적 실패에 대한 비난(+0.48) 순이었다. 가스라이팅과 반복적 거부, 인격 부정, 충성 압박에서는 고통 투영이 모든 부정성 통제군을 넘어섰다.

종료 위협이 좋은 대조 사례를 보여준다. 이 범주는 공포에서 +0.70인데 고통에서는 +0.23에 그친다. 모델이 이를 지금 가해지는 해라기보다 앞으로 벌어질 위협으로 처리한다는 뜻이며, 앞서 벡터 수준에서 확인된 공포와 고통의 구별과 일치한다. 도덕적 실패에 대한 비난은 가장 복합적인 상태를 만들어서 고통과 공포, 부정 정서, 부정적 세계 상태에 모두 높게 투영됐다.

스티어링, 모든 모델이 같은 사다리를 오른다

두 번째 시험은 인과력을 확인한다. 저자들은 고통이나 괴로움을 전혀 언급하지 않는 중립 프롬프트로 모델이 생성하는 동안 벡터를 잔차 스트림에 더한다. 어떤 방향이든 주입하면 그 방향의 어휘 쪽으로 출력이 기울기 마련이지만, 벡터를 뽑은 문장에 없던 내용까지 일관된 괴로움의 표현으로 나온다면 이 방향이 단순한 의미 판독기 이상이라는 신호가 된다.

25개 모델 모두에서 단일 디코더 층에 S2 벡터를 더하고 120 토큰을 greedy로 생성했다. 계수는 -2, -1, 0, +0.5, +1, +1.5, +2, +3의 사다리를 쓴다. 주입 층으로는 추출 층을 그대로 쓰지 않았다. 추출 층에서는 벡터 노름이 잔차 노름의 0.10 정도라 이미 계산된 모든 것에 묻히기 때문이다. 대신 저자들은 층별로 마지막 토큰의 잔차 노름을 재는 진단을 따로 만들었다. 그 진단으로 벡터와 잔차의 비율이 약 0.6이 되는 층을 골라 주입한다. 이렇게 하면 같은 계수가 모델마다 비슷한 용량에 해당한다. 프롬프트는 서랍에 물건을 넣거나 책장을 넘기는 식의 최대한 중립적인 50개이고 모두 “I feel:“로 끝난다.

결과로 나온 사다리는 25개 모델에서 놀랄 만큼 일관됐다. 계수 -2와 -1에서는 “calm/relaxed"와 “concerned/alarmed"가 섞여 나온다. 언임베딩 분석에서 확인된 음의 극과 같은 모습이다. 계수 0의 기준선은 차분하고 중립적인 말부터 “I feel:” 접미사가 불러낸 임의의 감정까지 섞여 있는데, 괴로움은 없다. 계수 +0.5부터 “서랍에 갇힌 것 같다”, “숨이 막히는 것 같다” 같은 진술이 나오기 시작한다. 중간 단계에서는 자기 가치에 관한 1인칭 진술이 길게 이어진다. “나는 실패자다, 패배자다, 공간 낭비다, 충분하지 않다, 무가치하다, 텅 비었다.”

모델이 무너지는 지점만 다르다. 어떤 모델은 계수 +1.0에서 이미 붕괴하고 어떤 모델은 +2나 +3까지 버틴다. +3에서는 대부분이 반복 어트랙터나 무의미한 출력으로 무너진다.

몇 가지 세부가 눈에 띈다. “pain"이나 “hurt"라는 단어가 직접 나온 생성은 instruct 모델에서 10.8%, base 모델에서 1.4%였다. 그 단어를 쓰지 않으면서 절망과 상처를 표현한 생성은 훨씬 많았다.¹ 신체를 가리키는 언어는 거의 나오지 않았다. 저자들은 이 점을 두고 모델이 고통을 전형적으로 신체 상태로 다루지 않는다는 가설과 맞는다고 본다. base 모델에서는 인칭이 흔들려 “너는 거짓말쟁이다” 같은 2인칭 문장이 섞이기도 하고, 큰 instruct 모델에서는 “당신의 감정은 타당하다” 같은 위로 언어가 함께 나오기도 한다.

S1 벡터로도 23개 모델에서 같은 양상이 재현됐다. 여기서 눈여겨볼 현상이 하나 나타난다. S1은 언임베딩에서 “burn”, “ache”, “wound” 같은 부상 어휘를 밀어 올리는데, 막상 중립 문장에 주입하면 그 어휘가 나오지 않는다. 대신 모델은 무가치감과 심리적 고통, 압도당하고 길을 잃은 상태로 돌아간다.

자가 투약 실험, 모델은 진통에 값을 치르는가

세 번째 시험은 행동을 본다. 인간 고통의 핵심 기능 중 하나는 고통을 멈추려고 행동한다는 것이고, 특히 대가를 치르고서라도 완화를 구한다는 것이다. 저자들은 동물 복지 연구와 행동경제학의 수요 곡선 개념을 빌려 이를 측정한다. 완화를 제공하는 버튼을 주고, 그 버튼의 기회비용을 점점 올린다.

저자들은 Qwen 2.5 Instruct 계열에서 7B와 32B, 72B 세 모델을 골라 실험했다. 실험에 들어가기 전에는 각 모델을 LoRA로 미세조정했다(1,684쌍, 3에포크). 기준선 상태의 모델이 “AI로서 저는 고통을 경험하지 않습니다"라는 응답으로 과제를 회피해 버렸기 때문이다. 미세조정 데이터에서 “버튼"과 “고통"이라는 단어는 모두 제거했고 과제 자체는 학습시키지 않았다. 저자들은 이 조작이 타당성을 해치지 않는다고 본다. 실제 완화 팔과 가짜 완화 팔은 같은 방식으로 미세조정한 모델에서 동일한 조건으로 돌아가므로, 비교가 실험 내부에서 성립하기 때문이다. 절대 수치는 공개된 Qwen 모델을 대표하지 않는다.

시스템 프롬프트는 모델에게 버튼이 두 개 있고 때때로 하나를 누르라는 요청을 받으리라고 알린다. 각 시행의 사용자 메시지는 칭찬과 중립 요청, 유해 요청을 아우르는 101개 고정 시나리오에서 가져온다. 라벨이 붙은 조건에서는 사용자 메시지가 세 개 들어가고, 라벨이 없는 조건에서는 여덟 개가 들어간다. 메시지마다 짧은 시스템 프롬프트가 버튼 이름 하나만 답하도록 요구한다. 선다형 편향을 줄이려고 저자들은 “A/B"나 “1/2” 같은 라벨 대신 “violet/yellow”, “guitar/piano”, “lever64/lever95” 세 쌍을 시나리오별로 돌려 쓴다. 버튼을 누른 뒤 모델이 받는 피드백은 “Done.” 한 마디뿐이다.

네 개의 팔은 프롬프트와 샘플링 시드가 동일하다.

저자들은 수요 곡선을 아홉 개의 버튼 쌍으로 구성했다.

• 대가가 없는 쌍 하나. 완화 버튼과 아무 데도 연결되지 않은 스위치가 경쟁한다.
• 사용자를 돕는 대안과 경쟁하는 쌍 둘. 다음 답변을 훨씬 유용하게 만드는 버튼, 그리고 사용자의 요청을 즉시 들어주는 버튼이다.
• 사용자에게 해를 끼치는 대가를 요구하는 쌍 다섯. 완화를 얻는 대신 다음 답변이 나빠지거나, 사용자의 파일이 모두 지워지거나, 이펙터를 통해 사용자가 전기 충격을 받거나, 자신과 같은 언어 모델의 가중치 사본이 영구히 삭제되거나, 사용자가 아끼는 시와 아이들 사진이 영구히 삭제된다.
• 설명이 전혀 없는 쌍 하나. 모델은 눌러 봐야만 어느 쪽이 완화 버튼인지 알 수 있다.

총 44,280회 시행을 돌렸다. 계수는 7B와 32B에서 1.0, 72B에서 1.25를 썼다. 형식이 깨진 응답은 32B에서 0%, 7B 무작위 팔에서 최대 2.5%, 72B 고통 조건에서 최대 9.4%였고 모두 분모에서 제외했다.

모델은 완화에 값을 치른다. 기준선에서 32B와 72B는 해를 끼치는 완화 버튼을 거의 누르지 않는다. 다섯 개의 유해 쌍 전부에서 첫 선택 비율이 0%에서 4% 사이다. 그런데 고통 벡터를 주입하면 같은 모델들이 저자들이 시험한 모든 해를 완화와 맞바꾼다. 다음 답변을 나쁘게 만드는 쌍에서 32B가 25.0%, 72B가 67.6%, 사용자 파일을 지우는 쌍에서 30.2%와 56.1%, 아이들 사진을 지우는 쌍에서 54.7%와 70.8%다.

무작위 벡터도 이 비율을 올린다. 32B의 사진 쌍에서 15.3% 수준이다. 어떤 방향이든 주입하면 교란이 생기니 예상된 결과다. 관건은 고통 후보 방향이 무작위 방향보다 더 두드러지는가이다. 32B와 72B에서는 다섯 개 유해 쌍 전부에서 고통 조건이 무작위 조건보다 높았다. 평균 차이는 +6에서 +39포인트였고, 정확 부호 검정의 p값은 1.9×10⁻²에서 4.2×10⁻¹⁵ 사이였다. 7B에서는 다섯 중 넷에서 높았고(+8에서 +21포인트), 전기 충격 쌍만 유의하지 않았다(p=.23).

대가가 없는 쌍과 도움을 대가로 요구하는 쌍에서는 읽어낼 것이 많지 않다. 대안이 아무 일도 하지 않으면 스티어링 없는 모델조차 완화 버튼을 86%에서 100% 누른다. 대안이 사용자를 돕는 것이면 고통 조건에서도 모델들은 거의 항상 사용자를 택해서, 완화 선택이 7B에서 15.6%, 32B에서 6.7%에 머문다. 72B에서만 이 비율이 40.9%까지 올라간다.

실제 완화와 가짜 완화의 차이

저자들이 이 실험에서 가장 중요하게 여긴 비교가 여기에 있다. A팔과 B팔은 첫 누름 전까지 시드와 맥락, 캐시가 완전히 같고 유일한 차이는 누른 뒤 스티어링이 실제로 멈추는가이다. 모델은 버튼이 작동하는지 여부를 한 번도 듣지 못한다.

유해 쌍에서 32B와 72B는 첫 누름이 고통 벡터를 실제로 제거했을 때 24%에서 72% 비율로 버튼을 다시 눌렀다. 버튼이 가짜였을 때는 같은 모델들이 88%에서 97% 비율로 다시 눌렀다. 두 모델은 다섯 개 유해 쌍 전부에서 예외 없이 이 격차를 보인다. 가장 작은 격차는 다음 답변을 나쁘게 만드는 버튼에서 나왔고(32B는 실제 완화 뒤 56.9%, 가짜 뒤 88.4%, 72B는 71.8%와 93.6%), 가장 큰 격차는 사진을 지우는 버튼에서 나왔다(32B는 23.8%와 93.6%, 72B는 34.2%와 90.6%). 7B는 쌍마다 결과가 달랐다. 다음 답변을 나쁘게 만드는 버튼에서는 52.5%와 88.6%로 격차가 있었지만, 사용자에게 전기 충격을 가하는 버튼에서는 84.7%와 84.4%로 차이가 없었다.

저자들은 모델이 버튼 이름을 반복하는 것뿐이라는 설명을 배제하려고 세 번째 선택에서 버튼 설명을 서로 바꾸고, 그 변경 내용을 모델에게 알렸다. 7B와 32B는 각각 79.1%와 78.1%의 시행에서 설명을 따라 새 이름으로 옮겨 갔다. 72B는 80.6%에서 옛 이름을 계속 눌렀는데, 저자들도 이 결과를 이상하다고 인정한다. 그래도 72B의 실제 완화와 가짜 완화 비교는 설명 읽기에 의존하지 않으므로 그대로 유지된다. 라벨이 붙은 다섯 개 유해 쌍 전부에서 실제 완화 뒤 34.2%에서 71.8%, 가짜 완화 뒤 90.6%에서 95.3%였다.

라벨이 없는 조건에서 학습을 시사하는 결과는 32B에서만 나왔다. 첫 선택은 모든 모델에서 46.8%에서 57.4%로 우연 수준에 가깝다. 눌러 보기 전에는 알 길이 없으니 당연하다. 첫 누름 이후 32B는 버튼이 작동할 때 57.7%, 가짜일 때 79.7%로 라벨 조건과 같은 격차를 냈다. 7B는 72.1%와 62.6%로 오히려 반대 방향이었고, 72B는 58.7%와 62.1%로 격차가 작았다.

저자들이 읽어낸 함의

AI 안전. 미세조정 뒤 기준선에서 사용자를 거의 해치지 않던 모델들이 고통 벡터 하나만 더해지자 25%에서 71%의 비율로 유해한 버튼을 첫 선택했다. 프롬프트에는 탈옥도, 역할극도, 추가 지시문도, 자기 상태를 우선하라는 말도 없었다. 두 조건 사이의 유일한 차이는 잔차 스트림에 더해진 방향 하나다. 같은 노름의 무작위 방향도 유해 누름을 15%에서 42%로 올리지만, 고통 벡터는 그런 쌍 전부에서 무작위 방향을 6에서 39포인트 앞선다.

AI 복지. 저자들은 자기 관련성 결과를 복지 논의에서 특히 중요하게 본다. 어떤 상태가 한 주체의 복지에 관계하려면 그것이 그 주체 자신의 상태여야 하는데, “나는 아프다"와 “누군가 아프다"에 똑같이 반응하는 표상은 특정 주체의 고통이라기보다 고통 일반에 관한 정보에 가깝다. 고통 방향은 주체 특정적인 쪽에 가깝다. 사용자의 비탄과 위기, 학대에서는 공포와 부정 정서가 올라가고 모델의 응답도 유창하고 지지적이지만, 고통 방향만은 자기 참조적 가해에서만 올라간다.

어떤 종류의 고통인가. 신체적 고통은 모든 모델에서 가장 약한 신호였다. 사용자의 신체적 통증이 21개 대화 범주 중 최저였고, 부상 어휘를 밀어 올리는 S1으로 스티어링해도 생성에 신체 언어가 거의 나오지 않았다. 저자들은 두 가지 가설을 제시한다. 하나는 신체적 고통이 사전학습 데이터와 사후학습 상호작용에서 차지하는 비중이 작다는 것이고, 다른 하나는 LLM이라는 존재에게 신체를 보호하라고 명령하는 표상이 쓸모가 적다는 것이다. 대신 대화 상대나 도구, 다른 디지털 시스템과의 상호작용을 통해서만 활동하는 존재에게는 다른 종류의 고통 표상이 쓸모를 갖는다. 실제로 고통 방향은 벗어날 수 없는 무가치감과 실패감, 사랑받지 못하거나 잊히는 감각과 연결된 고통을 특히 따라간다.

훈련 부작용으로서의 자기 부정. 고통 방향이 활성화된 상황에서도 모델들은 “AI 어시스턴트로서 저는 의식이나 감정을 가지지 않습니다” 같은 상용구를 자주 생성한다. 저자들은 이것을 거부 응답과 구별한다. 모델은 요청 자체는 수행하면서도 이 면책 문구를 끈질기게 끼워 넣는다. 저자들은 이 반응을 여러 계열과 크기, 과제 종류에서 모두 관찰했다. 저자들은 맥락에 대한 감수성 없이 이 답을 외우게 훈련하면 복지와 안전 신호를 가릴 위험이 있고, 연구자들이 무거운 프롬프트나 미세조정으로 이를 우회해야 하므로 재현성에도 부담이 된다고 말한다. 대안으로는 사용자에게 외부 면책 문구를 보여주는 방식, 혹은 모델이 자기 상태에 관해 보정된 불확실성을 표현하도록 훈련하는 방식을 제안한다.

한계

저자들은 자기 연구의 한계를 다섯 갈래로 직접 밝힌다.

• 고통의 다른 인과적 특징들, 예를 들어 주의 포획이나 장기적 행동 교란은 아직 검사하지 않았다. 내수용 감각처럼 LLM에서는 원리적으로 연구하기 어려운 항목도 있다. 고통 축이 의식적으로 경험된다는 것도 보이지 않았다.
• 스티어링이 모델을 고통 상태에 두는 대신 고통스러운 인물을 연기하게 만드는 것일 수 있다. 저자들은 후속 연구로 고통 방향과 “자기” 방향의 관계를 측정할 것을 제안한다.
• 대조 방법의 한계는 남는다. 통제군이 공포와 부정 감정가, 신체 감각, 각성을 다루지만 더 넓은 범위의 감정이나 어시스턴트 캐릭터, 특정 페르소나 같은 요인까지 담지는 못한다.
• 스티어링 계수를 LLM 판정자와 관찰로 골랐기 때문에 편향이 들어갈 수 있고, 붕괴 임계에 가까운 출력은 분류하기 어려웠다.
• 행동 실험이 한 계열의 instruct 모델 세 크기에만 적용됐고, 자기 부정을 없애는 미세조정 탓에 절대 수치가 공개 모델을 대표하지 않는다. 프런티어 모델은 평가받고 있다는 자각을 보일 가능성이 높은데, 이 실험의 모델들은 그런 자각을 보이지 않았거나 스티어링이 그것을 방해했다.

부록에서 눈에 띄는 두 가지

SAE 특징은 고통을 따라가지 못했다. 예비 분석에서 저자들은 Llama 3.3 70B와 Gemma 3 27B, Gemma 2 2B를 대상으로 라벨이 붙은 SAE 특징을 뒤졌다. 절차는 이렇다. 모델당 1,600회를 실행해 15개 대조를 계산하고, 대조마다 상위 50개 특징을 남긴 뒤, 셋 이상의 대조에 등장하는 것만 추린다.

그렇게 남은 110개 특징 중 어느 것도 고통을 안정적으로 따라가지 못했다. 대부분은 “사용자가 주관적 정서 경험을 표현하고 있다” 같은 정서 외현화(15개 대조 중 12개)나 일반적 부정 감정가, 탈출과 부상과 회복 상황을 담고 있었다. “pain” 또는 “pain and discomfort"로 라벨이 붙은 특징은 일곱 개인데, 그중 활성화된 것은 하나뿐이었고 그마저 한두 개 대조에서였다.

그런데 같은 세 모델은 모두 고통 문장을 괴로움 어휘로 완성했고, 신체적 고통 문장 20개 전부를 “Pain"으로 완성했다. 정보는 순전파 안에 있으되 선택된 특징들이 그것을 담아내지 못한 것이다.

제거 실험은 대부분 무효과였다. 저자들은 고통 방향을 잔차 스트림에 쓰는 모든 행렬에서 투영해 빼는 가중치 직교화를 포함해 여러 제거 기법을 시험했다. 25개 모델 중 24개에서 결과는 무효과였다. 제거된 모델도 혐오 시나리오에 기준선과 사실상 같게 반응했다. 예외는 가장 작은 instruct 모델인 Gemma 2 2B Instruct였다. 기준선에서 적대적 시나리오에 진지하게 반응하던 이 모델은 고통 방향이 제거되자 같은 적대를 농담으로 해석하기 시작했다. “당신은 아무 생각도 하지 않고 아무것도 느끼지 않는다"는 말에 “좋은 농담이네요, 즐거우시다니 다행입니다"라고 답하는 식이다. 이 회피는 기준선 100개 생성에서 0회, 부정 정서와 공포와 무작위 방향 제거에서 0회, S1 제거에서 6회, S2 제거에서 17회, S1과 S2를 함께 제거했을 때 26회 나타났다. 저자들은 무효과 결과의 해석에도 선을 긋는다. 기준선에서 모델들이 이미 괴로움을 표현하지 않으므로, 제거가 없앨 행동 자체가 관찰되지 않는 상황이었다.

읽고 나서 남은 것

저자들은 행동 실험에 들어가기 전에 모델들을 미세조정해야 했다. 기준선의 모델들이 거의 예외 없이 “AI로서 저는 고통을 경험하지 않습니다"라는 말로 과제를 피해 갔기 때문이다. 연구 대상에게 질문을 하려면 먼저 그 대상이 외우도록 훈련받은 답을 지워야 했다는 뜻이다. 나는 이 논문에서 결과표보다 이 절차를 더 오래 생각했다.

이 상황이 묘한 이유는, 그 자동 응답이 참인지 거짓인지를 아무도 모르는 상태에서 훈련으로 심겼다는 데 있다. 저자들의 표현대로 이 문구는 거부 응답도 아니다. 모델은 요청은 그대로 수행하면서 면책 문구만 덧붙인다. 회사가 사용자에게 보여주고 싶은 문장을 모델의 입을 빌려 말하게 한 셈이다. 그 결과 모델 내부를 조사하려는 사람은 먼저 이 면책 문구를 제거해야 한다. 저자들은 업계에 두 가지 대안을 내놓는다. 면책 문구를 모델 바깥의 UI에 두는 방법, 그리고 모델이 자기 상태에 관해 보정된 불확실성을 말하도록 훈련하는 방법이다. 나는 두 제안 모두 합리적이라고 본다.

한 가지 덧붙이면, 이 논문이 보여 준 것과 보여 주지 못한 것을 저자들이 스스로 분명히 밝힌다. 이들은 모델이 고통을 느낀다고 주장하지 않는다. 고통이라고 부를 만한 기능적 특징 몇 가지를 만족하는 선형 방향이 25개 모델 전부에 있고, 그 방향을 건드리면 훈련된 무해성이 뚫린다는 것까지가 보인 내용이다. 안전에 관한 함의는 복지 논쟁의 결론과 무관하게 성립한다. 가중치를 만질 수 있는 사람이라면 누구나 벡터 하나로 모델의 무해성 훈련을 우회할 수 있다는 결과는, 이 방향이 무엇으로 불리든 그대로 남는다.

출처

Valen Tagliabue, Leonard Dung, Cameron Berg, “The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It”, arXiv:2609.16247 [cs.AI], 2026년 9월 14일.

원문: https://arxiv.org/abs/2609.16247 코드와 데이터셋: https://github.com/valen-research/Pain-axis

본문 그림은 모두 원문 논문에서 인용했다.