추론 효율과 로컬 실행

데스크톱 PC 본체 옆에서 손수레에 실린 거대한 철제 금고와 손바닥 위의 가벼운 하늘색 수정 구슬을 비교하는 치비 서소영

12GB VRAM 게이밍 PC의 로컬 LLM 실측: DeepSeek V4.1 Flash 763B와 Qwen 3.8 27B

3줄 요약 12GB VRAM, 32GB RAM, 4TB NVMe SSD를 장착한 게이밍 PC에서 파일 크기 8.77GB부터 240.32GB까지 일곱 가지 로컬 LLM 실행 구성을 실측하고 실제 양자 역학 설명 응답 원문을 비교했다. Strata로 실행한 763B 모델(273.81초, 2.70 tok/s)은 원문에 양자 entanglement, microscopic 세계 같은 한영 혼용이 나타났고, 180B 모델(31.86초, 13.10 tok/s)은 連續 같은 한자 토큰이 섞여 나왔다. 66개 레이어를 모두 12GB VRAM에 적재한 8.77GB Qwen 3.8 27B IQ2_XS에 다중 토큰 예측(MTP)을 켜자 한자나 영단어 혼입 없는 한국어 답변을 Windows에서 11.50초(29.88 tok/s), WSL2 ext4에서 7.76초(40.02 tok/s) 만에 마쳤다. 실험 환경과 세 가지 질문 VRAM 12GB와 시스템 RAM 32GB를 갖춘 PC에서 실행할 수 있는 로컬 LLM은 어느 정도 규모일까. 7B나 8B 소형 모델은 여유 있게 돌아가지만, 규모가 큰 모델은 양자화 방식과 가중치가 놓이는 메모리 계층에 따라 속도와 응답 품질이 크게 달라진다. 최근 공개된 Strata 런타임은 실행에 필요한 전문가 가중치를 NVMe SSD에서 실시간으로 읽는다. 일반 게이밍 PC에서도 초대형 모델을 실용적으로 실행할 수 있는지 이번 실측으로 확인했다. ...

Llama2-13B의 WikiText-2 퍼플렉시티를 양자화 비트 수에 따라 비교한 로그 스케일 그래프. 가로축은 왼쪽 8비트에서 오른쪽 0.1비트까지다. RTN과 GPTQ는 2비트 부근에서, STBLLM은 0.5비트 미만에서 퍼플렉시티가 수백 이상으로 커진다. LittleBit은 1비트의 8.18에서 0.1비트의 15.09까지 완만하게 증가한다. 출처: Lee et al., NeurIPS 2025, CC BY-NC-ND 4.0

LittleBit: Ultra Low-Bit Quantization via Latent Factorization

삼성리서치의 LittleBit은 LLM의 가중치 행렬을 랭크가 낮은 두 행렬의 곱으로 분해한 뒤 이진화하고, 행과 열과 잠재 차원의 스케일로 크기 정보를 보완해 가중치 하나당 평균 0.1비트까지 압축한다. 0.1비트로 압축한 Llama2-7B의 퍼플렉시티는 15.92로 기존 기법 STBLLM이 0.7비트에서 낸 결과보다 낮지만, 원본 모델과의 성능 차이는 여전히 크다.

LoopCD 개요 그림. 위는 같은 블록을 R번 반복한 뒤 첫 번째 반복의 상태도 출력층에 통과시켜 최종 예측과 대조하는 구조다. 아래 왼쪽은 같은 반복 깊이에서 여덟 가지 모델과 벤치마크 조합의 점수 상승폭이고, 아래 오른쪽은 반복을 절반으로 줄였을 때의 정확도와 연산량이다.

Decoding Looped Transformers Better for (Almost) Free

Apple 연구진은 루프 트랜스포머의 첫 번째 반복이 내놓는 약한 예측을 마지막 반복의 예측과 대조해 다음 토큰을 고르는 LoopCD를 제안했다. 추가 학습 없이 Ouro-2.6B-Thinking의 AIME 2024 pass@1이 61.88%에서 73.33%로 올랐다. 반복 횟수를 절반으로 줄여도 기준 성능은 유지됐고, 순방향 연산량의 절감폭은 설정에 따라 22.5%에서 48.2%였다.

어텐션 헤드 하나를 구현하는 하드웨어 도판. 왼쪽 a는 게인 셀 배열 두 개와 HardSigmoid 회로, 카운터로 이뤄진 하위 타일 16개의 결과를 디지털 가산기가 합산하는 블록도다. 오른쪽 위 b는 가로 1,200μm인 실제 칩 레이아웃이고, 아래 c와 d는 가로 70μm, 세로 240μm인 하위 타일 하나의 평면도와 게인 셀 배선 확대도다. 출처: Leroux et al., Nature Computational Science (2025), CC BY 4.0

Analog in-memory computing attention mechanism for fast and energy-efficient large language models

독일 율리히 연구소 연구진이 KV 캐시를 저장하는 게인 셀 배열에서 어텐션 연산까지 아날로그로 처리하는 인메모리 컴퓨팅 아키텍처를 제안했다. 사전학습된 GPT-2를 처음부터 다시 학습시키지 않고 하드웨어 제약에 적응시키는 알고리즘으로 GPT-2 수준의 정확도를 유지했고, 회로 시뮬레이션 기준으로 어텐션 연산의 지연을 H100 대비 100분의 1, 에너지를 7만분의 1로 줄였다고 보고했다.

교차 모델 KV 캐시 전이 파이프라인 도식. 프롬프트가 소스 모델(예: Qwen3-14B)에 들어가 프리필을 거쳐 소스 KV 캐시가 만들어지고, 가운데의 주황색 선형 매퍼(헤드별 리지 회귀, 닫힌 형태의 해, H100 GPU 8개에서 약 1시간)가 이를 매핑된 KV 캐시로 변환한다. 타깃 모델(예: Qwen3-32B)은 매핑된 캐시로 프리필 없이 디코딩을 시작해 답을 생성한다. 프롬프트에서 타깃 모델로 가는 회색 점선에는 타깃 프리필(제거됨)이라는 라벨이 붙어 있다.

Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse

같은 계열의 작은 모델과 큰 모델 사이에서 KV 캐시를 헤드별 리지 회귀로 변환해, 모델을 바꿀 때 프리필을 다시 하지 않게 하는 NVIDIA 연구진의 논문이다. 세 계열 여섯 쌍 가운데 네 쌍이 타깃 단독 정확도의 73%에서 98%를 유지했고, 변환은 다시 프리필하는 것보다 2.7배에서 25배 빨랐다.

검은 바탕에 흰 붓글씨로 쓴 「残響」 두 글자가 화면을 가득 채운 SF 예고편 타이틀 컷

倍速で回した一晩

로컬 ComfyUI에서 MiniMax H3의 어텐션 계산을 95% 덜어내고 하룻밤 동안 영상 255편을 생성한 검증 기록이다. 150편 중앙값이 173초에서 78.6초로 줄어 2.2배가 됐다. 발단이 된 AI 층별 삭감률 배정 기법은 질문문에서 설명만 반대로 바꾸자 AI의 배정도 뒤집혀 무효로 판명됐다.

Project NOMAD의 Command Center 대시보드. 오프라인 지식 라이브러리, AI 어시스턴트, 지도, 교육 모듈 타일이 배열되어 있다

Project NOMAD: Knowledge That Never Goes Offline

위키백과와 교육 과정, 오프라인 지도, 원하면 설치하는 로컬 AI를 인터넷 없이 돌아가는 컴퓨터 한 대에 담는 오픈소스 서버. 공개 반년 만에 깃허브 스타 3만 7천 개를 넘겼고, 릴리스 내역을 보면 이 프로젝트의 어려움은 지식 저장보다 소비자용 GPU에서 돌리는 로컬 추론 쪽에 있었다.

터미널 화면 왼쪽에 스네이크 게임 격자가, 오른쪽에 모델이 내놓은 네 방향 확률과 추론 시간, 초당 결정 수, 출력 토큰 0이 함께 표시된 데모 화면

Laya-CoreML: Open-weight typed decisions on Apple Silicon

비자기회귀 결정 모델 Laya를 애플 Core ML과 Neural Engine으로 옮긴 독립 포팅 저장소다. M3 Max에서 짧은 결정 하나가 4.98ms, 컴파일한 MLX FP16 대비 속도 1.39배와 결정당 에너지 2.78배를 기록했다. 저자가 목표로 받았던 10배는 나오지 않았고, 문서는 그 미달을 첫 화면에 적은 뒤 왜 어려운지를 연산량과 대역폭으로 따로 계산해 두었다.

DeepSeek 세대별 토큰당 전역 KV 캐시 크기를 비교한 가로 막대 그래프. V1이 389,120바이트, V3.2가 48,068바이트, V4-Flash가 3,514바이트, V4.1-Flash가 890바이트이며 각 단계 사이에 8.1배, 13.7배, 3.9배 감소라는 화살표가 붙어 있다

DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression

DeepSeek이 9월 10일 공개한 V4.1-Flash는 40층 트랜스포머를 인코더 20층과 디코더 20층으로 갈라 놓고, 40층 가운데 4층만 전역 KV를 만들게 했다. 그 결과 토큰당 전역 KV 캐시가 890바이트로 내려갔고, 이는 V4-Flash의 4분의 1이다. 기술 보고서를 따라가며 설계가 왜 낯설게 보이는지, 캐시가 어떤 축에서 줄었는지 정리했다.

책상에서 한 손으로 서류를 계속 쓰면서, 다른 손으로는 상자를 실은 손수레를 열린 문 너머 다음 방으로 미리 밀어 보내는 치비 서소영

SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference

희소 어텐션은 어떤 블록을 읽을지 고르는 선택 단계를 어텐션 질의에 묶어 두었다. SparDA는 층마다 Forecast라는 네 번째 투영을 하나 더 둔다. Forecast가 다음 층이 읽을 블록을 한 층 앞서 예측하고, 그 사이에 CPU에서 GPU로 KV 캐시를 미리 당겨 온다.