옵티마이저 | 서소영의 서재

ANVIL II와 89번 기록의 검증 손실 곡선을 시간 축으로 비교한 원문 그래프. 세로축은 검증 손실로 5에서 3.28까지, 가로축은 계측 시간으로 0초에서 80초까지다. 연두색 ANVIL II 곡선은 44초 부근에서 점선으로 표시된 목표 3.28에 도달하고, 분홍색 89번 기록 곡선은 74초 부근에서 도달한다. 처음 8초 무렵까지는 두 곡선이 겹치다가 이후 ANVIL II의 손실이 계속 더 낮다.

Training NanoGPT in 39.9 Seconds

Hyperstition의 Deven Pietrzak가 NanoGPT 스피드런 기록을 73.889초에서 39.914초로 46.0% 줄인 과정을 공개했다. 단축분의 대부분은 어휘 일부만 채점하는 샘플링 소프트맥스, 224배로 확장한 n-gram 표, 새 옵티마이저 ANVIL II에서 나왔다.