ToMATO: Verbalizing the Mental States of Role-Playing LLMs for Benchmarking Theory of Mind
NTT 연구진이 역할극 LLM 간 정보 비대칭 대화를 활용하여 5개 정신 상태 범주와 거짓 신념을 다층적으로 평가하는 ToM 벤치마크를 제안한다. GPT-4o mini조차 인간 성능에 미치지 못한다.
요약
외부 보고서·자료를 읽고 정리한 다이제스트 모음. 본 포스트와 달리 가벼운 정리 노트로 운영합니다.
베케이션 : 성능 대신 세계관 띄워 연 매출 590억원, 선크림의 판매술
미국 선크림 브랜드 Vacation이 ‘1980년대 해변 세계관’을 일관되게 구축하여, 런칭 3년 만에 연 매출 590억원을 달성한 사례를 분석한다.
Dissecting the Ullman Variations with a SCALPEL
LLM이 거짓 신념 과제의 사소한 변형에서 실패하는 원인을 SCALPEL 기법으로 해부한 연구. 실패의 핵심은 단어 이해가 아니라 ‘보기→인식하기’라는 상식적 추론의 부재다.
Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext
프론티어 LLM이 행간의 의미를 활용한 소통을 할 수 있는지 네 가지 게임 기반 환경으로 검증한 논문. 최고 모델도 단서의 60%를 지나치게 직접적으로 생성하며, 공유 맥락의 자동 추론과 암시적 창작에 구조적 한계를 보인다.
Epicure: Multidimensional Flavor Structure in Food Ingredient Embeddings
FlavorGraph의 300차원 식재료 임베딩에서 LLM 기반 데이터 큐레이션으로 맛·질감·문화·영양 등 15개 독립 차원을 추출한 논문. 레시피 동시출현 데이터만으로 셰프의 암묵지가 구조적으로 인코딩되어 있음을 증명한다.
Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity
LLM이 ‘아는 것’의 양으로 파라미터 수를 역추정하는 벤치마크 IKP. 89개 오픈웨이트 모델에서 R²=0.917의 로그-선형 관계를 입증하고, Densing Law가 사실 지식에는 적용되지 않음을 보인다.
Fragments: April 2
Martin Fowler가 4월 단상에서 다룬 네 가지 주제: 시스템 부채의 세 겹, AI를 카너먼 인지 모델에 끼워 넣은 시스템 3, 코딩이 무료가 되면 비싸지는 검증, 그리고 소스 코드의 미래.
Reasoning-Driven Synthetic Data Generation and Evaluation
Google/EPFL 연구팀이 제안한 Simula는 택소노미 분해 → 에이전틱 메타프롬프팅 → 이중 비평 필터링의 3단계로 합성 데이터를 생성하며, 데이터 스케일링의 핵심이 양이 아닌 속성임을 실증한다.
공교육 특성이 학생에게 미치는 영향 분석: 학군 내 고등학교 배정의 인과적 효과를 중심으로
KDI가 서울의 고교 평준화 정책을 자연실험으로 활용하여 학교 교육의 질적 차이가 학업성취에 미치는 인과적 효과를 분석했다. 좋은 학교의 효과는 실재하지만, 그 혜택은 상위권 학생에게 집중된다.
Black-Scholes Implied Vol: Closed Form at Last
50년간 수치 탐색으로만 풀리던 블랙-숄즈 내재 변동성을 역가우시안 분위수 함수 한 번으로 직접 계산하는 닫힌 형태의 해가 최초로 제시되었다.