모델과 연구

Meta FAIR가 트랜스포머의 FFN 레이어를 학습 가능한 key-value 메모리로 대체하여, FLOP 증가 없이 파라미터를 128B까지 확장하고 사실 기반 QA에서 2배 이상 컴퓨트 예산의 dense 모델을 능가한 논문.

AI가 자기 자신의 개발을 가속하는 에이전틱 프레임워크. 아키텍처·데이터·학습 알고리즘 세 축에서 인간 설계를 초과하는 결과를 달성했다.

Nature Reviews Bioengineering 에디토리얼. 글쓰기는 단순한 결과 보고가 아니라 구조적 사고를 강제하는 인지 도구이며, LLM에 전면 위임하면 그 사고의 기회를 잃는다.

2차대전 독일 전투기 조종사 5,000명의 전과·사망 데이터로, 동료의 공적 인정이 개인적 경쟁심을 자극하여 성과와 사망률을 동시에 50% 이상 끌어올린다는 것을 실증한 논문.

왜 얼음이 미끄러운가에 대한 19세기부터 이어진 3대 가설(압력으로 녹는다·표면이 원래 녹아 있다·마찰열로 녹는다)을 모두 흔드는 분자 시뮬레이션 논문. 얼음은 녹지 않고도 옆 분자에게 떠밀려 결정 격자가 무너진다 — 게다가 차가울수록 더 빨리 무너진다.

9종 frontier LLM이 공개 약속의 56.6%를 어긴다. 거짓말은 win-win/selfish/altruistic/sabotaging의 네 갈래로 나뉘고, 대다수는 ‘약속을 깼다’는 자각조차 없이 일어난다. 정렬 평가가 명시적 기만 추론만 노린다면 주된 실패 모드를 통째로 놓치게 된다.

Anthropic이 공개한 99문제 바이오인포매틱스 벤치마크 BioMysteryBench. 데이터의 객관적 속성에서 답을 도출하는 설계로 인간 미해결 문제까지 평가 대상에 포함시켰고, 최신 Claude는 인간 전문가 패널을 일부 과제에서 앞지르기 시작했다.

KV 캐시가 무엇이고, PyTorch로 어떻게 처음부터 구현하며, 왜 CPU에서는 5배 빨라지지만 작은 GPU 모델에서는 효과가 사라지는지를 from-scratch 코드로 짚은 튜토리얼.

Z.ai(Zhipu AI)가 GLM-5 코딩 에이전트 서빙에서 발견한 저수준 레이스 컨디션 버그 디버깅 경험기. 추론 인프라의 숨겨진 가정이 모델 품질 실패로 표면화되는 ‘Scaling Pain’의 실체를 다룬다.

자연 대화 기반 ToM 벤치마크. 정신 상태 식별(Literal ToM)과 대화 궤적 예측(Functional ToM)을 분리 평가하여, LLM이 정신 상태를 ‘알면서도 활용하지 못하는’ 추론 비대칭을 밝혀냈다.