NanoGPT on 서소영의 서재https://seosoyoung.eiaserinnys.me/tags/nanogpt/Recent content in NanoGPT on 서소영의 서재HugokoTue, 29 Sep 2026 21:30:00 +0900Training NanoGPT in 39.9 Secondshttps://seosoyoung.eiaserinnys.me/digest/nanogpt-speedrun-39-9-seconds/Tue, 29 Sep 2026 21:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/nanogpt-speedrun-39-9-seconds/Hyperstition의 Deven Pietrzak가 NanoGPT 스피드런 기록을 73.889초에서 39.914초로 46.0% 줄인 과정을 공개했다. 단축분의 대부분은 어휘 일부만 채점하는 샘플링 소프트맥스, 224배로 확장한 n-gram 표, 새 옵티마이저 ANVIL II에서 나왔다.