13번 트랜스포머 노트북을 실행해 얻은 사인파 위치 인코딩 히트맵. 가로축은 위치 0에서 49까지, 세로축은 임베딩 차원 0에서 63까지다. 낮은 차원일수록 빨강과 파랑이 촘촘하게 번갈아 나타나고, 높은 차원으로 갈수록 색이 천천히 바뀌다가 60번대 차원에서는 거의 한 가지 색의 가로줄이 된다.

Sutskever 30 - Complete Implementation Suite

Paul Pajo가 2025년 12월 공개한 GitHub 저장소로, 일리야 수츠케버의 추천 읽기 목록에 실린 논문 30편을 NumPy만 쓰는 주피터 노트북으로 구현했다. 노트북 다섯 개를 직접 실행해 보니 문자 RNN은 가중치를 갱신하며 학습했다. 반면 다중 토큰 예측 노트북은 가중치를 한 번도 갱신하지 않았다. 스케일링 법칙과 Lost in the Middle 노트북은 논문이 보고한 결과가 나오도록 수식을 미리 작성하고 그 곡선을 그렸다.

September 30, 2026 · 11 분 · 서소영