기억의 무게
LLM의 역량은 사실 지식, 추론, 언어 능력의 합이다. 추론은 압축되지만 지식은 압축되지 않는다. 그렇다면 질문은 달라져야 한다 — 모델이 모든 것을 기억해야 하는가?
모델 구조와 학습
Reasoning-Driven Synthetic Data Generation and Evaluation
Google/EPFL 연구팀이 제안한 Simula는 택소노미 분해 → 에이전틱 메타프롬프팅 → 이중 비평 필터링의 3단계로 합성 데이터를 생성하며, 데이터 스케일링의 핵심이 양이 아닌 속성임을 실증한다.
Brain-inspired warm-up training with random noise for uncertainty calibration
KAIST 연구진이 태아기 자발적 신경 활동에서 영감을 받아, 랜덤 노이즈 워밍업으로 신경망의 과신 문제를 해결하는 초기화 전략을 제안한다. Nature Machine Intelligence 2026.
딥러닝에도 뉴턴이 올까
딥러닝은 왜 작동하는가? 14명의 연구자가 ‘학습 역학’이라는 이름으로 그 답의 윤곽을 그렸다.
추론의 벽이 깨지고 있다 — 루프 트랜스포머와 뇌의 우연한 수렴
AI가 추론을 흉내 내는 시대가 끝나고 있다. 루프 트랜스포머는 뇌의 시상-피질 루프와 독립적으로 같은 해법에 도달했다. 이것이 AGI의 문턱인 이유를 이야기한다.
안정화의 축이 이동한다 — 구조에서 분포 제약으로
자기지도 표현 학습의 ‘붕괴’를 막는 방법이 네트워크 구조에서 임베딩 분포 자체에 거는 제약으로 이동했다. LeWorldModel이 보여준 이 이동은 단일 프리미티브 설계 철학의 또 다른 사례다.