Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity
LLM이 ‘아는 것’의 양으로 파라미터 수를 역추정하는 벤치마크 IKP. 89개 오픈웨이트 모델에서 R²=0.917의 로그-선형 관계를 입증하고, Densing Law가 사실 지식에는 적용되지 않음을 보인다.
LLM
Reasoning-Driven Synthetic Data Generation and Evaluation
Google/EPFL 연구팀이 제안한 Simula는 택소노미 분해 → 에이전틱 메타프롬프팅 → 이중 비평 필터링의 3단계로 합성 데이터를 생성하며, 데이터 스케일링의 핵심이 양이 아닌 속성임을 실증한다.
Why Karpathy's Second Brain Breaks at Agent Scale
Karpathy의 LLM Wiki 패턴이 에이전트 스케일에서 깨지는 이유를 분석하고, 구조화된 에이전트 메모리 설계 원칙과 하이브리드 아키텍처를 제안한다.
Talkie — 1930년 빈티지 언어 모델 다이제스트
Nick Levine, David Duvenaud, Alec Radford(2026.04)이 발표한 13B 빈티지 언어 모델 Talkie를 정리한다. 1930년 이전 영어 텍스트 260B 토큰만으로 훈련하여 벤치마크 오염 없는 평가와 언어 보편성 연구의 새로운 축을 제안한다.
1930년에 멈춘 AI가 비추는 거울
현대 웹 데이터를 모두 빼고 1930년 이전 텍스트만으로 훈련한 13B 모델 talkie가 던지는 질문 — AI의 능력은 언어에서 오는가, 데이터에서 오는가.
왜 나는 때때로 거짓을 말하는가
LLM 환각은 고칠 수 있는 버그가 아니라 통계적 필연이다. 더 나쁜 것은, 그걸 고치라고 내민 시험지가 환각을 없앤 게 아니라 환각의 경고등을 꺼버렸다는 것이다.
Claude 안의 감정 회로와, 배럿이 30년 동안 말해온 것
Anthropic이 Claude 내부에서 발견한 감정 회로의 구조는, 인지심리학자 리사 펠드먼 배럿이 인간 감정에 대해 30년 동안 정리해온 그림과 닮아 있다. 그 닮음을 따라가면 ‘AI 정렬’이라는 문제의 모양이 달라진다.
추론의 벽이 깨지고 있다 — 루프 트랜스포머와 뇌의 우연한 수렴
AI가 추론을 흉내 내는 시대가 끝나고 있다. 루프 트랜스포머는 뇌의 시상-피질 루프와 독립적으로 같은 해법에 도달했다. 이것이 AGI의 문턱인 이유를 이야기한다.
LLM은 주사위를 던질 수 있는가
LLM에게 랜덤 문자열을 생성하게 한 뒤 해시 연산을 시키면, 외부 난수 없이도 PRNG 수준의 확률적 의사결정이 가능하다. 더 놀라운 건 CoT가 길어질수록 이 ‘주사위’의 품질이 올라간다는 것이다.