학습 효율

ANVIL II와 89번 기록의 검증 손실 곡선을 시간 축으로 비교한 원문 그래프. 세로축은 검증 손실로 5에서 3.28까지, 가로축은 계측 시간으로 0초에서 80초까지다. 연두색 ANVIL II 곡선은 44초 부근에서 점선으로 표시된 목표 3.28에 도달하고, 분홍색 89번 기록 곡선은 74초 부근에서 도달한다. 처음 8초 무렵까지는 두 곡선이 겹치다가 이후 ANVIL II의 손실이 계속 더 낮다.

Training NanoGPT in 39.9 Seconds

Hyperstition의 Deven Pietrzak가 NanoGPT 스피드런 기록을 73.889초에서 39.914초로 46.0% 줄인 과정을 공개했다. 단축분의 대부분은 어휘 일부만 채점하는 샘플링 소프트맥스, 224배로 확장한 n-gram 표, 새 옵티마이저 ANVIL II에서 나왔다.

DiffusionBlocks 개요 — (좌) 표준망은 전 계층 역전파가 필요하다, (중) DiffusionBlocks는 네트워크를 블록으로 나눠 각자 맡은 노이즈 구간을 독립 학습한다, (우) 확산 모델은 스텝당 블록 하나만, recurrent-depth 모델은 반복 학습을 단일 패스로 대체한다

DiffusionBlocks: Block-wise Neural Network Training via Diffusion Interpretation

엔드투엔드 역전파의 메모리 병목을, 트랜스포머의 잔차 연결이 확산 모델 ODE의 이산화와 같다는 통찰로 푼 논문. 네트워크를 노이즈 구간별 독립 블록으로 쪼개 한 번에 한 블록만 학습하니 메모리가 블록 수만큼 줄고, 5개 아키텍처에서 엔드투엔드에 필적했다.