Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

3줄 요약

1. Google Research와 Cornell 연구진은 배포 뒤 고정되는 LLM의 생애를 학습·추론이 아니라 **각성(Wake)과 수면(Sleep)**으로 다시 나눈다. 문맥 안에서 얻은 단기 기억은 세션이 끝나면 사라지고, 반복 미세조정은 기존 능력을 덮어쓰므로 입력을 멈춘 채 기억을 재조직하는 별도 단계가 필요하다는 주장이다.
2. 수면은 두 단계다. 기억 공고화에서는 빠르게 갱신되는 작은 자기 자신을 교사로 삼아 새 저랭크 전문가가 열린 더 큰 자기 자신에게 지식을 상향 증류한다. 꿈꾸기에서는 모델이 합성 연습 데이터를 만들고, 실제 성능을 높일 가능성이 큰 꿈을 골라 강화학습으로 학습한다.
3. 지속 학습·장문 이해·지식 편입·수학 추론·소수 예시 일반화에서 일관된 개선을 보였다. 그러나 이것은 오늘의 범용 챗봇에 그대로 꽂는 수면 버튼이 아니다. 계층형 메모리와 여분 파라미터, 오프라인 연산, 보상 모델과 과제별 평가 신호를 요구하는 개념 증명이다.

왜 언어 모델에는 밤이 없는가

현재 LLM의 기억은 두 시간대에 갈라져 있다. 사전학습이 끝나기 전의 먼 과거는 파라미터에 남고, 지금 대화에서 얻은 정보는 문맥 창 안에 잠시 머문다. 그 사이를 잇는 통로가 없다. 문맥 학습은 빠르지만 세션이 끝나면 사라지고, 재학습과 미세조정은 느리거나 기존 능력을 잊게 만든다.

논문은 이 상태를 새로운 장기 기억을 만들지 못하는 전향성 기억상실에 비유한다. 비유가 생물학적 동등성을 뜻하는 것은 아니다. 저자들이 빌려오는 것은 인간의 수면 자체가 아니라, 빠른 기억과 느린 기억 사이에 별도의 정리 시간이 있다는 설계 원리다.

그래서 지속 학습 모델에는 훈련 시간과 테스트 시간이 따로 없다고 본다. 외부 입력을 받아 처리하는 각성기, 외부 입력을 거의 받지 않고 이미 얻은 경험을 내부에서 재구성하는 수면기가 번갈아 있을 뿐이다.

Figure 1. 기존 머신러닝의 훈련·테스트 구분과 지속 학습의 각성·수면 주기. 출처: Behrouz et al. (2026), CC BY 4.0.

1단계: 기억 공고화 — 작은 자신이 큰 자신을 가르친다

기억 공고화는 사람의 비렘수면(NREM)에 대응하는 단계다. 모델 내부에는 서로 다른 속도로 갱신되는 여러 메모리 블록이 있다고 가정한다. 자주 바뀌는 블록은 새 경험을 빨리 받아들이지만 불안정하고, 낮은 빈도로 바뀌는 블록은 느리지만 오래 간다.

수면이 시작되면 다음 순서로 지식을 아래쪽의 안정된 기억으로 옮긴다.

1. 빠른 블록이 새 데이터로 어떻게 바뀔지 먼저 계산하되, 아직 실제 모델에는 적용하지 않는다.
2. 더 느린 블록에 새 저랭크 전문가를 열어 여분의 수용량을 만든다.
3. 업데이트 전의 작은 모델을 교사, 업데이트 예정 가중치와 새 전문가를 가진 큰 모델을 학생으로 삼아 지식을 증류한다.
4. 이전 지식이 옮겨진 뒤 빠른 블록의 임시 전문가를 비워 다음 경험을 받을 자리를 만든다.

보통 지식 증류는 큰 교사가 작은 학생을 가르친다. 여기서는 방향이 반대다. 최근 경험을 품은 작은 자기 자신이, 새 용량을 얻은 큰 자기 자신을 가르친다. 논문은 이를 Knowledge Seeding, 즉 지식 파종이라고 부른다.

Figure 2. 빠른 기억을 느린 기억으로 옮기기 전에 저랭크 전문가를 열어 새 수용량을 만든다. 출처: Behrouz et al. (2026), CC BY 4.0.

증류도 단순히 교사의 출력 문장을 베끼는 방식이 아니다. 학생이 직접 생성한 문장에 교사가 토큰별 피드백을 주는 온폴리시 증류와, 교사가 만든 문장의 일부만 보여주고 학생이 나머지를 이어 쓰게 하는 강화학습을 합친다. 보상은 의미가 같은지와 편집 거리가 얼마나 가까운지를 함께 본다. 새 전문 파라미터만 업데이트하고 기존 파라미터는 얼려, 새 기억이 옛 지식을 덮어쓰는 간섭을 줄인다.

이 설계에서 망각은 단지 나쁜 최적화의 결과가 아니다. 새 지식을 넣을 자리가 부족한 용량 문제이기도 하다. 저자들이 정규화만으로 기존 가중치를 지키는 대신, 공고화할 때 새 용량을 여는 이유다.

2단계: 꿈꾸기 — 기억을 보관하지 않고 다시 조합한다

기억 공고화가 최근 경험을 오래 가는 형태로 옮기는 일이라면, 꿈꾸기는 그 경험으로 새 연습 문제를 만드는 일이다. 사람의 렘수면(REM)에서 영감을 받은 단계다.

모델은 최근에 배운 문맥으로 여러 합성 데이터, 곧 ‘꿈’을 만든다. 이때 혼합 전문가 라우터가 평소 선택과 무관한 전문가 하나를 무작위로 더 불러, 서로 멀리 있던 지식이 섞일 여지를 만든다. 생성된 꿈을 전부 학습하지는 않는다. 각 꿈의 학습 기울기를 계산해 성능을 높일 가능성이 큰 상위 표본을 고르고, 다양성을 잃지 않도록 무작위 표본도 일부 남긴다.

그다음 꿈마다 격리된 모델 복사본을 미세조정한다. 실제 과제 성능이 좋아졌는지를 보상으로 삼아, 앞으로 어떤 꿈을 만들어야 하는지 강화학습한다. 기억을 원문 그대로 재생하는 것이 아니라 무엇을 다시 연습해야 다음에 더 잘할지를 학습하는 과정이다.

다만 논문의 “사람의 감독 없이”라는 표현은 좁게 읽어야 한다. 수면 중 새 사람 라벨을 받지 않는다는 뜻에 가깝다. 의미 유사도를 판정하는 고정 보상 모델, 과제 성능 지표, 기울기 기반 선별과 꿈별 미세조정은 여전히 필요하다. 완전히 목적 없는 자율적 꿈은 아니다.

실험 결과

연구진은 기억 공고화만 쓴 경우와 꿈꾸기까지 포함한 전체 수면을 나누어 평가했다. 단일 점수 하나보다 여러 종류의 기억 과제에서 같은 방향의 변화가 나왔다는 점이 중요하다.

지속적 분류 학습에서는 CLINC·Banking77·DBpedia 모두에서 외부 학습기를 붙인 InCA, 기존 가중치 변화를 제한하는 EWC, 문맥 학습만 쓰는 기준선보다 높았다. 만주어와 칼라망어를 차례로 배우는 번역 과제에서는 문맥 학습이 두 번째 언어를 익힌 뒤 첫 번째 언어 성능을 크게 잃은 반면, 공고화 단계를 늘린 Hope-3는 각 언어를 따로 배웠을 때의 성능에 가까이 돌아왔다.

장문 과제에서도 같은 경향이 나온다. LongHealth·QASPER·MK-NIAH에서 공고화 단계가 많을수록 성능이 좋아졌고, BABILong에서는 미세조정된 작은 모델이 1백만 토큰 이후 급격히 무너지는 비교군과 달리 1천만 토큰까지 거의 만점에 가까운 성능을 유지했다고 보고한다. 단, 미세조정하지 않은 모든 작은 모델은 크게 하락했다. 수면 메커니즘만 얹으면 저절로 초장문 추론이 생긴다는 결과는 아니다.

수학 추론의 상승폭은 더 작지만 일관됐다. Qwen3-1.7B와 8B 모두에서 SFT와 GRPO보다 높았고, 구성 요소 제거 실험에서는 모방학습·의미 보상·파라미터 확장이 각각 성능에 기여했다.

어디까지 믿을 수 있는가

이 논문이 보여준 것은 “LLM도 생물처럼 잠들면 똑똑해진다”가 아니다. 더 정확한 결론은 온라인 적응과 오프라인 재조직을 분리하고, 새 기억에 새 용량을 주면 반복 미세조정보다 덜 잊을 수 있다는 것이다.

아직 남은 거리는 분명하다.

• 특정 구조에 기대는 개념 증명이다. 핵심 실험은 서로 다른 갱신 빈도를 가진 메모리 블록, 희소 혼합 전문가, Nested Learning 계열 Hope 구조를 사용한다. 임의의 배포 모델에 바로 적용하는 범용 후처리법이 아니다.
• ‘성장’은 공짜가 아니다. 구현에서는 텐서 크기를 계속 바꾸지 않고 여분 파라미터를 처음부터 만들어 가린 뒤 수면 때 활성화한다. 논문은 활성 파라미터 수를 기본 모델과 같게 유지하지만, 잠재 용량은 미리 확보해야 하며 언젠가는 바닥난다.
• 수면 시간의 연산 비용이 있다. 같은 학습 스텝 수에서는 SFT가 약 4배 빠르다. 저자들은 같은 목표 성능까지 맞추면 오히려 SFT가 3.6~4.8배 더 오래 걸린다고 보고하지만, 수면이 실서비스 생애 전체에서 경제적인지는 별도의 시스템 평가가 필요하다.
• 꿈에는 목적 함수가 필요하다. 무엇이 좋은 꿈인지 보상 모델과 과제 지표가 정한다. 열린 환경에서 잘못된 자기평가가 반복될 때 생기는 모델 붕괴와 오류 증폭을 이 실험만으로 닫지는 못했다.
• 생물학은 설계 비유다. NREM·REM, 해마·신피질, 시냅스 가지치기와의 대응은 직관을 주지만 신경과학적 동등성을 입증한 결과는 아니다.

가장 흥미로운 지점

가장 흥미로운 것은 수면을 저장 시간이 아니라 재서술 시간으로 본다는 점이다. 지금의 에이전트 메모리는 대개 대화를 벡터 데이터베이스에 넣고 나중에 검색한다. 경험의 원문은 남지만, 중복된 사건을 하나의 규칙으로 압축하고, 새 지식이 기존 지식과 어디서 충돌하는지 찾아내고, 다음 행동을 바꾸는 정책으로 고치는 단계는 약하다.

이 논문의 언어로 말하면 그런 시스템은 계속 깨어 있기만 한다. 기록은 늘어나는데 배운 것은 적다. 장기 실행 에이전트에 필요한 것은 더 큰 기억 저장소만이 아니라, 일정 시간 입력을 끊고 기록을 개념·규칙·검증 문제로 다시 쓰는 운영상의 밤일 수 있다.

출처

• Ali Behrouz, Farnoosh Hashemi, Adel Javanmard, Vahab Mirrokni. Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories. arXiv:2606.03979v2, 2026-07-10. https://arxiv.org/abs/2606.03979
• 초기 ICLR 2026 제출본과 리뷰 기록: https://openreview.net/forum?id=iiZy6xyVVE
• 본문 그림은 arXiv v2 원문에서 가져왔으며 원 논문의 CC BY 4.0 라이선스를 따른다.