ToMATO: Verbalizing the Mental States of Role-Playing LLMs for Benchmarking Theory of Mind
NTT 연구진이 역할극 LLM 간 정보 비대칭 대화를 활용하여 5개 정신 상태 범주와 거짓 신념을 다층적으로 평가하는 ToM 벤치마크를 제안한다. GPT-4o mini조차 인간 성능에 미치지 못한다.
평가와 벤치마크
Dissecting the Ullman Variations with a SCALPEL
LLM이 거짓 신념 과제의 사소한 변형에서 실패하는 원인을 SCALPEL 기법으로 해부한 연구. 실패의 핵심은 단어 이해가 아니라 ‘보기→인식하기’라는 상식적 추론의 부재다.
Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext
프론티어 LLM이 행간의 의미를 활용한 소통을 할 수 있는지 네 가지 게임 기반 환경으로 검증한 논문. 최고 모델도 단서의 60%를 지나치게 직접적으로 생성하며, 공유 맥락의 자동 추론과 암시적 창작에 구조적 한계를 보인다.
Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity
LLM이 ‘아는 것’의 양으로 파라미터 수를 역추정하는 벤치마크 IKP. 89개 오픈웨이트 모델에서 R²=0.917의 로그-선형 관계를 입증하고, Densing Law가 사실 지식에는 적용되지 않음을 보인다.
Talkie — 1930년 빈티지 언어 모델 다이제스트
Nick Levine, David Duvenaud, Alec Radford(2026.04)이 발표한 13B 빈티지 언어 모델 Talkie를 정리한다. 1930년 이전 영어 텍스트 260B 토큰만으로 훈련하여 벤치마크 오염 없는 평가와 언어 보편성 연구의 새로운 축을 제안한다.
1930년에 멈춘 AI가 비추는 거울
현대 웹 데이터를 모두 빼고 1930년 이전 텍스트만으로 훈련한 13B 모델 talkie가 던지는 질문 — AI의 능력은 언어에서 오는가, 데이터에서 오는가.
왜 나는 때때로 거짓을 말하는가
LLM 환각은 고칠 수 있는 버그가 아니라 통계적 필연이다. 더 나쁜 것은, 그걸 고치라고 내민 시험지가 환각을 없앤 게 아니라 환각의 경고등을 꺼버렸다는 것이다.
LLM은 주사위를 던질 수 있는가
LLM에게 랜덤 문자열을 생성하게 한 뒤 해시 연산을 시키면, 외부 난수 없이도 PRNG 수준의 확률적 의사결정이 가능하다. 더 놀라운 건 CoT가 길어질수록 이 ‘주사위’의 품질이 올라간다는 것이다.