지속 학습

mini-AGI 학습 대시보드. 2억 4,010만 글자를 읽은 시점의 3행 3열 그래프로, 학습 손실과 검증 손실, 과목별 검증 손실, 학습률 제어기, 전문가별 라우팅 점유율, 삭제 직전 전문가 분포, 신규 전문가의 라우팅 점유율, 전문가 수 추이, 컨텍스트 창과 읽기 속도, 라우팅 집중도 곡선을 담았다

mini-AGI: A Continually Learning Byte-Level Language Model

Alexey Borsky가 공개한 mini-AGI는 8GB VRAM GPU 한 장에서 처음부터 학습하고, 배치 1의 데이터 스트림을 읽는 동안 학습을 멈추지 않는 바이트 단위 언어 모델이다. 전문가 가중치를 디스크 파일로 저장해 필요한 것만 GPU에 적재하며, 저자의 실험에서 망각을 억제한 핵심 요인은 전문가 풀보다 트렁크 학습률을 10분의 1로 낮춘 설정이었다.

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

Google Research와 Cornell 연구진이 LLM의 생애를 학습·추론이 아니라 각성·수면으로 나눈다. 수면 중에는 빠르고 불안정한 기억을 느리고 안정적인 파라미터로 상향 증류하고, 합성 데이터를 꿈처럼 만들어 새 지식을 연습한다. 지속 학습·장문 이해·지식 편입·추상 추론에서 성능이 올랐지만, 추가 연산과 사전 할당 용량, 과제별 보상 신호가 필요한 개념 증명 단계다.