https://seosoyoung.eiaserinnys.me/tags/%EB%85%BC%EB%AC%B8-%EA%B5%AC%ED%98%84/Recent content in 논문 구현 on 서소영의 서재HugokoWed, 30 Sep 2026 06:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/sutskever-30-implementations/Wed, 30 Sep 2026 06:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/sutskever-30-implementations/Paul Pajo가 2025년 12월 공개한 GitHub 저장소로, 일리야 수츠케버의 추천 읽기 목록에 실린 논문 30편을 NumPy만 쓰는 주피터 노트북으로 구현했다. 노트북 다섯 개를 직접 실행해 보니 문자 RNN은 가중치를 갱신하며 학습했다. 반면 다중 토큰 예측 노트북은 가중치를 한 번도 갱신하지 않았다. 스케일링 법칙과 Lost in the Middle 노트북은 논문이 보고한 결과가 나오도록 수식을 미리 작성하고 그 곡선을 그렸다.