모델 구조와 학습

ANVIL II와 89번 기록의 검증 손실 곡선을 시간 축으로 비교한 원문 그래프. 세로축은 검증 손실로 5에서 3.28까지, 가로축은 계측 시간으로 0초에서 80초까지다. 연두색 ANVIL II 곡선은 44초 부근에서 점선으로 표시된 목표 3.28에 도달하고, 분홍색 89번 기록 곡선은 74초 부근에서 도달한다. 처음 8초 무렵까지는 두 곡선이 겹치다가 이후 ANVIL II의 손실이 계속 더 낮다.

Training NanoGPT in 39.9 Seconds

Hyperstition의 Deven Pietrzak가 NanoGPT 스피드런 기록을 73.889초에서 39.914초로 46.0% 줄인 과정을 공개했다. 단축분의 대부분은 어휘 일부만 채점하는 샘플링 소프트맥스, 224배로 확장한 n-gram 표, 새 옵티마이저 ANVIL II에서 나왔다.

회원의 시청 이력과 작품 정보, 접속 맥락을 텍스트로 언어화해 GenRec 모델에 입력하고, vLLM의 프리필 전용 추론으로 카탈로그 전체의 추천 순위를 계산하는 파이프라인 도식

GenRec: An LLM-Backed Recommendation Ranker at Netflix

넷플릭스가 수천 개의 수작업 피처에 기반한 추천 랭커를 대체할 후보로 LLM 기반 랭커 GenRec을 만들고, 기존 랭커와 비교한 결과를 공개했다. GenRec은 시청 이력을 텍스트로 서술해 프리필 한 번으로 카탈로그 전체의 점수를 계산하며, 사후 학습 라벨을 40분의 1만 쓰고도 대규모 A/B 테스트에서 통계적으로 유의한 개선을 얻었다.

팬시 스티커 화풍의 서소영이 작은 탁자 앞에 앉아 민트색 테이프 기계에 구멍 뚫린 프로그램 카드를 넣고 있다. 기계 옆으로 파스텔색 구슬 줄이 흘러나오고, 학생모를 쓴 노란 병아리가 그 구슬을 붙잡고 들여다본다.

Self-Play Pretraining with Zero Data

스탠퍼드대와 텔아비브대 등의 연구진이 자연 데이터를 경사 갱신에 한 번도 쓰지 않고 언어 모델을 사전학습하는 셀프 플레이 방법을 제안했다. 생성자 모델은 만능 튜링 기계용 프로그램을 짜고, 학습자 모델은 그 출력 바이트를 예측한다. 이렇게 학습한 모델의 텍스트, 이미지, 음악 제로샷 손실은 연산량이 늘수록 거듭제곱 법칙에 따라 줄었다.

같은 카운트다운 문제를 두 방식으로 푸는 원문 그림 1. 왼쪽은 Qwen3-1.7B가 텍스트로 추론한 기록으로, 840토큰을 쓰는 동안 시도 3개 중 1개가 자기 이전 시도의 반복이다. 오른쪽은 Interference Search로, 여러 분기를 동시에 전개하고 중복을 병합해 3단계 만에 ((24 × 19) + 3) − 98 = 361을 찾는다. 출처: Badtheorylabs/interference-search, Apache 2.0

Interference Search: Reasoning over merged states, many branches at once

라고스(Lagos)에 있는 연구소 Bad Theory Labs가 언어 모델의 한 줄짜리 추론 대신 명시적 상태 위에서 여러 분기를 한꺼번에 전개하고, 같은 상태는 병합하고, 작은 판정기로 막다른 분기를 제거하는 탐색 방식을 공개했다. 어려운 카운트다운 30문제에서 같은 판정기와 같은 예산으로 단일 사슬은 21문제, 이 방식은 30문제를 풀었고, 필요한 순차 단계는 23.7에서 3으로 줄었다. 코드 과제에서는 차이가 잡음 수준이었고, 언어 모델을 학습시키는 일은 다음 단계로 남았다.

mini-AGI 학습 대시보드. 2억 4,010만 글자를 읽은 시점의 3행 3열 그래프로, 학습 손실과 검증 손실, 과목별 검증 손실, 학습률 제어기, 전문가별 라우팅 점유율, 삭제 직전 전문가 분포, 신규 전문가의 라우팅 점유율, 전문가 수 추이, 컨텍스트 창과 읽기 속도, 라우팅 집중도 곡선을 담았다

mini-AGI: A Continually Learning Byte-Level Language Model

Alexey Borsky가 공개한 mini-AGI는 8GB VRAM GPU 한 장에서 처음부터 학습하고, 배치 1의 데이터 스트림을 읽는 동안 학습을 멈추지 않는 바이트 단위 언어 모델이다. 전문가 가중치를 디스크 파일로 저장해 필요한 것만 GPU에 적재하며, 저자의 실험에서 망각을 억제한 핵심 요인은 전문가 풀보다 트렁크 학습률을 10분의 1로 낮춘 설정이었다.

베이스 모델과 RLVR 모델의 탐색 트리 비교 도식. 문제 A에서는 RLVR이 보상받은 경로 쪽으로 분포를 몰아 샘플링 효율을 높이지만, 문제 B에서는 베이스 모델에 있던 정답 경로가 RLVR 모델에서 사라진다.

Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

칭화대 LeapLab과 상하이교통대 연구진이 검증 가능한 보상 기반 강화학습(RLVR)의 효과를 pass@k로 다시 측정한 논문. k가 작을 때는 RLVR 모델이 앞서지만 k를 키우면 베이스 모델이 역전하며, RLVR이 쓰는 추론 경로는 이미 베이스 모델의 분포 안에 들어 있었다.

치비 서소영이 손바닥만 한 작은 로봇을 들어 올려 커다란 코끼리에게 쪽지를 건네게 하고, 코끼리가 구불구불한 길 대신 바닥에 그려진 짧은 직선 경로를 따라 걷는 라인아트

Training a 4B model to produce 81% faster query plans than Postgres

4B 오픈웨이트 모델을 오프폴리시 증류와 에이전틱 RL로 후학습시켜 Postgres의 기본 쿼리 플랜보다 빠른 플랜을 만들게 한 개인 실험 기록이다. 조인 순서 벤치마크 113개 질의에서 기하평균 1.81배 speedup을 얻었고, 들어간 돈은 모두 1,200달러였다.

왼쪽에서 인과적 인코더가 관측 토큰을 병렬로 인코딩해 KV 메모리를 만들고, 오른쪽에서 재귀 디코더가 프롬프트 토큰과 응답 토큰을 같은 전이로 통과하는 구조 도식

Recurrent Looped Transformer

인과적 인코더가 전역 메모리를 만들고, 재귀 디코더가 프롬프트와 응답의 모든 토큰을 지나며 하나의 상태를 이어간다. 학습과 샘플링과 강화학습 리플레이가 같은 전이를 쓰도록 설계했고, 측정된 성능 수치는 아직 한 줄도 없다.

VPT 방법 개요 다이어그램. 인터넷 데이터 수집, 역동역학 모델 학습, VPT 파운데이션 모델 학습의 세 단계가 나란히 놓여 있다.

Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos

OpenAI 연구진은 행동 라벨이 없는 마인크래프트 플레이 영상 7만 시간에 역동역학 모델로 의사 라벨을 달았다. 이어 이 데이터로 행동을 사전학습하고 강화학습으로 미세조정해, 다이아몬드 곡괭이를 만드는 에이전트를 처음 보고했다.

Engram 아키텍처 개요도. 왼쪽에 어휘 임베딩과 트랜스포머 블록이 쌓여 있고, 그중 한 블록 안에서 Engram 모듈이 어텐션과 MoE 앞에 놓인다. 오른쪽 확대도는 Alexander the Great라는 구절을 2그램과 3그램으로 잘라 해시한 뒤 임베딩 표에서 꺼내 이어 붙이고, 현재 은닉 상태와 내적해 게이트를 열어 합성곱을 통과시키는 흐름을 보여 준다

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

트랜스포머에는 지식을 찾아오는 전용 연산이 없어서, 고정된 사전 항목 하나를 꺼낼 때도 여러 층을 써서 계산으로 다시 만들어 낸다. DeepSeek과 베이징대 연구진은 그 자리에 N그램 임베딩 표를 되살려 넣고, MoE 전문가와 메모리 사이에 희소 용량을 어떻게 나눌지 재어 보았다.