사전학습 | 서소영의 서재

바닥에 말린 종이 두루마리를 그대로 둔 채, 소리굽쇠와 소라 수화기로 하늘색 음표 정령의 목소리를 듣는 치비 서소영

Dessa - the Conversation Model trained only on speech

Block 산하 연구 조직 Team Dessa가 문자 데이터나 사전학습 언어모델 없이 사람의 음성 대화만으로 처음부터 학습한 실시간 대화 모델 Dessa를 공개했다. 텍스트 변환 과정에서 보존되지 않던 억양과 말 사이의 쉼, 웃음, 한숨까지 직접 듣고 표현하며, NVIDIA GB200 NVL72 한 대로 학습해 MacBook Pro M4 Max에서 실시간보다 빠르게 작동한다.

DeepSWE v1.1, HLE, Terminal Bench 2.1의 점수를 문제 한 번당 생성 연산량 추정치(PFLOP)에 대해 그린 그래프 세 개. Beam의 진한 녹색 선은 세 그래프 모두 2 PFLOP 이하에 있고, GLM-5.2(주황)와 Qwen3.8(파랑, 보라)은 3에서 18 PFLOP을 써서 비슷하거나 높은 점수를 낸다.

Introducing Beam: Reflection’s 501B open-weight model

Reflection AI가 첫 오픈웨이트 모델 Beam을 발표했다. 파라미터 5,010억 개 중 230억 개만 활성화하는 MoE 모델이다. 코딩과 에이전트 성능은 GLM 5.2와 비슷하고, 비슷한 점수를 내는 데 드는 연산은 3배에서 4배 적다고 한다. 가중치는 10월 중 Apache 2.0 라이선스로 공개할 예정이다.

ANVIL II와 89번 기록의 검증 손실 곡선을 시간 축으로 비교한 원문 그래프. 세로축은 검증 손실로 5에서 3.28까지, 가로축은 계측 시간으로 0초에서 80초까지다. 연두색 ANVIL II 곡선은 44초 부근에서 점선으로 표시된 목표 3.28에 도달하고, 분홍색 89번 기록 곡선은 74초 부근에서 도달한다. 처음 8초 무렵까지는 두 곡선이 겹치다가 이후 ANVIL II의 손실이 계속 더 낮다.

Training NanoGPT in 39.9 Seconds

Hyperstition의 Deven Pietrzak가 NanoGPT 스피드런 기록을 73.889초에서 39.914초로 46.0% 줄인 과정을 공개했다. 단축분의 대부분은 어휘 일부만 채점하는 샘플링 소프트맥스, 224배로 확장한 n-gram 표, 새 옵티마이저 ANVIL II에서 나왔다.

팬시 스티커 화풍의 서소영이 작은 탁자 앞에 앉아 민트색 테이프 기계에 구멍 뚫린 프로그램 카드를 넣고 있다. 기계 옆으로 파스텔색 구슬 줄이 흘러나오고, 학생모를 쓴 노란 병아리가 그 구슬을 붙잡고 들여다본다.

Self-Play Pretraining with Zero Data

스탠퍼드대와 텔아비브대 등의 연구진이 자연 데이터를 경사 갱신에 한 번도 쓰지 않고 언어 모델을 사전학습하는 셀프 플레이 방법을 제안했다. 생성자 모델은 만능 튜링 기계용 프로그램을 짜고, 학습자 모델은 그 출력 바이트를 예측한다. 이렇게 학습한 모델의 텍스트, 이미지, 음악 제로샷 손실은 연산량이 늘수록 거듭제곱 법칙에 따라 줄었다.

VPT 방법 개요 다이어그램. 인터넷 데이터 수집, 역동역학 모델 학습, VPT 파운데이션 모델 학습의 세 단계가 나란히 놓여 있다.

Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos

OpenAI 연구진은 행동 라벨이 없는 마인크래프트 플레이 영상 7만 시간에 역동역학 모델로 의사 라벨을 달았다. 이어 이 데이터로 행동을 사전학습하고 강화학습으로 미세조정해, 다이아몬드 곡괭이를 만드는 에이전트를 처음 보고했다.

A Bitter Lesson for Data Filtering

컴퓨트가 충분히 크면 데이터 필터링은 오히려 손해다 — Stanford 연구진이 Common Crawl과 5개 표준 필터를 비교하여, 큰 모델이 ‘저품질’ 데이터에서도 이득을 본다는 증거를 제시한다.