어텐션 | 서소영의 서재

Memory Caching의 전체 구조를 나타낸 도식. 각 토큰이 현재 세그먼트의 온라인 메모리와 함께 과거 세그먼트들에서 캐싱된 메모리 체크포인트들을 동시에 참조해 출력을 계산한다.

Memory Caching: RNNs with Growing Memory

구글 리서치 연구진이 순환 신경망의 유효 메모리 용량을 시퀀스 길이에 맞춰 늘리는 Memory Caching(MC)을 제안했다. 시퀀스를 여러 세그먼트로 분할하고 세그먼트별 은닉 상태 체크포인트를 캐싱하는 방식으로, 선형 복잡도인 RNN과 이차 복잡도인 트랜스포머 사이를 보간하며 언어 모델링과 장문 인출 과제에서 SWLA, DLA, Titans의 성적을 전반적으로 높였다.

Sudoku-Extreme에서 실행 층 수에 따른 정확도와 풀이 완료 후 상태 변화를 비교한 그래프. 직전 상태만 넘기는 TRM은 468층에서 최고점 62.2%를 기록한 뒤 정확도가 떨어지고 이미 푼 퍼즐의 19.7%를 잃는 반면, InfiLoop는 1,872층에서 90.9%까지 오르며 푼 퍼즐을 모두 유지한다.

Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals

루프 트랜스포머는 직전 반복의 출력만 다음 반복으로 넘기기 때문에, 반복 횟수가 늘면 이후의 갱신이 이미 맞힌 답을 덮어쓰는 잠재 과잉사고가 발생한다. InfiLoop는 반복마다 내용 점수와 지수 감쇠로 과거 상태를 가중 합산한다. 토큰당 벡터 하나와 스칼라 하나만 유지하는 점화식이라 메모리 사용량이 반복 횟수와 상관없이 일정하다. 700만 파라미터 모델로 Sudoku-Extreme 97.9%, ARC-AGI-2 13.6%를 기록했고, 실행 층 수를 2만 4,960층까지 늘려도 성능이 계속 올랐다.

논문의 그림 1. SpikingBrain의 전체 구성도. 왼쪽 초록색 상자는 뇌에서 착안한 메커니즘으로, 스파이크를 통한 통신과 이벤트 구동, 적응형 희소성과 발화 활동 제어, 모듈식 희소화와 기능 특화, 압축되고 계속 갱신되는 기억과 마르코프 성질, 수상돌기 동역학을 나열한다. 가운데 상자는 모델 구조로, 아래에서부터 혼합 효율 어텐션, MoE 또는 FFN, 정수나 스파이크 형태의 스파이크 부호화가 이어진다. 오른쪽 상자는 개발 과정으로, 오픈소스 트랜스포머 모델에서 출발하는 변환 기반 학습(약 150B 토큰, 긴 문맥 적용 가능)을 택하고, 10T 토큰 이상이 필요하고 문맥이 대체로 짧은 처음부터 학습하는 방식은 쓰지 않았다고 표시한다. 아래 왼쪽 상자는 엔비디아가 아닌 GPU 클러스터에 적응시키는 항목으로 학습 프레임워크, CUDA와 Triton 연산자, 통신 기본 연산, 병렬화 전략을 나열하고, 아래 오른쪽 상자는 차세대 뉴로모픽 하드웨어 설계에 줄 시사점으로 스파이킹 희소도 69% 이상, 데이터 2% 미만, 4M 토큰 첫 토큰 지연 100배 이상 단축을 적었다.

SpikingBrain: Spiking Brain-inspired Large Models

중국과학원 자동화연구소와 MetaX 연구진이 Qwen2.5-7B의 어텐션을 선형 어텐션과 슬라이딩 윈도 어텐션으로 바꾸고 활성값을 정수 스파이크로 부호화한 모델 두 종을 만들어, 엔비디아가 아닌 MetaX GPU 수백 장에서 학습했다. 연속 사전학습 약 1,500억(150B) 토큰으로 7B 모델은 베이스 모델 성능의 약 90%를 회복했고, 400만(4M) 토큰을 입력하면 첫 토큰이 100배 이상 빨리 나온다고 추정했다.

어텐션 헤드 하나를 구현하는 하드웨어 도판. 왼쪽 a는 게인 셀 배열 두 개와 HardSigmoid 회로, 카운터로 이뤄진 하위 타일 16개의 결과를 디지털 가산기가 합산하는 블록도다. 오른쪽 위 b는 가로 1,200μm인 실제 칩 레이아웃이고, 아래 c와 d는 가로 70μm, 세로 240μm인 하위 타일 하나의 평면도와 게인 셀 배선 확대도다. 출처: Leroux et al., Nature Computational Science (2025), CC BY 4.0

Analog in-memory computing attention mechanism for fast and energy-efficient large language models

독일 율리히 연구소 연구진이 KV 캐시를 저장하는 게인 셀 배열에서 어텐션 연산까지 아날로그로 처리하는 인메모리 컴퓨팅 아키텍처를 제안했다. 사전학습된 GPT-2를 처음부터 다시 학습시키지 않고 하드웨어 제약에 적응시키는 알고리즘으로 GPT-2 수준의 정확도를 유지했고, 회로 시뮬레이션 기준으로 어텐션 연산의 지연을 H100 대비 100분의 1, 에너지를 7만분의 1로 줄였다고 보고했다.

1층, 2층, 3층 어텐션 전용 모델의 인컨텍스트 러닝 점수와 헤드별 절제 효과를 비교한 그래프. 상전이 구간에서 점수가 급락하고, 그 변화를 만드는 헤드가 보라색으로 표시된 인덕션 헤드임을 보여준다.

In-context Learning and Induction Heads

트랜스포머는 학습 초반에 딱 한 번 상전이를 겪는다. 그 좁은 구간에서 인덕션 헤드가 형성되고 인컨텍스트 러닝 능력이 한꺼번에 향상된다. Anthropic이 2022년에 두 현상을 연결한 여섯 갈래 논거를 정리한 논문.

검은 바탕에 흰 붓글씨로 쓴 「残響」 두 글자가 화면을 가득 채운 SF 예고편 타이틀 컷

倍速で回した一晩

로컬 ComfyUI에서 MiniMax H3의 어텐션 계산을 95% 덜어내고 하룻밤 동안 영상 255편을 생성한 검증 기록이다. 150편 중앙값이 173초에서 78.6초로 줄어 2.2배가 됐다. 발단이 된 AI 층별 삭감률 배정 기법은 질문문에서 설명만 반대로 바꾸자 AI의 배정도 뒤집혀 무효로 판명됐다.

DeepSeek 세대별 토큰당 전역 KV 캐시 크기를 비교한 가로 막대 그래프. V1이 389,120바이트, V3.2가 48,068바이트, V4-Flash가 3,514바이트, V4.1-Flash가 890바이트이며 각 단계 사이에 8.1배, 13.7배, 3.9배 감소라는 화살표가 붙어 있다

DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression

DeepSeek이 9월 10일 공개한 V4.1-Flash는 40층 트랜스포머를 인코더 20층과 디코더 20층으로 갈라 놓고, 40층 가운데 4층만 전역 KV를 만들게 했다. 그 결과 토큰당 전역 KV 캐시가 890바이트로 내려갔고, 이는 V4-Flash의 4분의 1이다. 기술 보고서를 따라가며 설계가 왜 낯설게 보이는지, 캐시가 어떤 축에서 줄었는지 정리했다.

책상에서 한 손으로 서류를 계속 쓰면서, 다른 손으로는 상자를 실은 손수레를 열린 문 너머 다음 방으로 미리 밀어 보내는 치비 서소영

SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference

희소 어텐션은 어떤 블록을 읽을지 고르는 선택 단계를 어텐션 질의에 묶어 두었다. SparDA는 층마다 Forecast라는 네 번째 투영을 하나 더 둔다. Forecast가 다음 층이 읽을 블록을 한 층 앞서 예측하고, 그 사이에 CPU에서 GPU로 KV 캐시를 미리 당겨 온다.

Kimi Linear(왼쪽)와 Kimi K3(가운데·오른쪽)의 전체 아키텍처. K3는 KDA 세 레이어 + MLA 한 레이어로 된 매크로사이클을 23번 쌓고, Gated MLA·잠재 MoE·AttnRes를 더한다.

22580: From GPT2 to Kimi3, Explained

GPT-2(2019)부터 Kimi K3(2026)까지 언어모델 아키텍처의 진화를 코드 구현 수준까지 추적한 워크로그. 7년간 파라미터는 22,580배 커졌지만, 변화의 본질은 스케일이 아니라 고정 크기 상태가 정보를 저장·갱신·검색하는 방식의 한계를 하나씩 푸는 과정이었다.

눈길을 끄는 이미지는 하나의 문제가 아니다

눈길을 끄는 이미지를 예측하고 만드는 연구는 한 덩어리처럼 보이지만 시선과 기억, 미감, 클릭 네 갈래로 갈라져 있다. 그중 예쁨과 클릭은 산업 데이터가 이미 갈라놓은 서로 다른 목적함수다.