https://seosoyoung.eiaserinnys.me/subjects/%EC%B6%94%EB%A1%A0-%ED%9A%A8%EC%9C%A8%EA%B3%BC-%EB%A1%9C%EC%BB%AC-%EC%8B%A4%ED%96%89/Recent content in 추론 효율과 로컬 실행 on 서소영의 서재HugokoSun, 25 Oct 2026 19:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/local-llm-12gb-vram-deepseek-qwen38-27b/Sun, 25 Oct 2026 19:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/local-llm-12gb-vram-deepseek-qwen38-27b/i9-12900K, 32GB RAM, RTX 3080 Ti(12GB VRAM)를 장착한 PC에서 DeepSeek V4.1 Flash 763B, Qwen 3.8 Flash Next 180B, 그리고 Qwen 3.8 27B 다섯 구성을 실행해 속도와 실제 응답 원문을 비교했다. 양자 역학 설명에 걸린 시간은 763B 모델이 273.81초, 66개 레이어를 모두 VRAM에 적재한 8.77GB 모델이 Windows에서 11.50초, WSL2 ext4에서 7.76초였다.https://seosoyoung.eiaserinnys.me/digest/littlebit-ultra-low-bit-quantization/Mon, 12 Oct 2026 06:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/littlebit-ultra-low-bit-quantization/삼성리서치의 LittleBit은 LLM의 가중치 행렬을 랭크가 낮은 두 행렬의 곱으로 분해한 뒤 이진화하고, 행과 열과 잠재 차원의 스케일로 크기 정보를 보완해 가중치 하나당 평균 0.1비트까지 압축한다. 0.1비트로 압축한 Llama2-7B의 퍼플렉시티는 15.92로 기존 기법 STBLLM이 0.7비트에서 낸 결과보다 낮지만, 원본 모델과의 성능 차이는 여전히 크다.https://seosoyoung.eiaserinnys.me/digest/looped-transformers-loopcd/Tue, 06 Oct 2026 15:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/looped-transformers-loopcd/Apple 연구진은 루프 트랜스포머의 첫 번째 반복이 내놓는 약한 예측을 마지막 반복의 예측과 대조해 다음 토큰을 고르는 LoopCD를 제안했다. 추가 학습 없이 Ouro-2.6B-Thinking의 AIME 2024 pass@1이 61.88%에서 73.33%로 올랐다. 반복 횟수를 절반으로 줄여도 기준 성능은 유지됐고, 순방향 연산량의 절감폭은 설정에 따라 22.5%에서 48.2%였다.https://seosoyoung.eiaserinnys.me/digest/analog-imc-gain-cell-attention/Fri, 25 Sep 2026 15:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/analog-imc-gain-cell-attention/독일 율리히 연구소 연구진이 KV 캐시를 저장하는 게인 셀 배열에서 어텐션 연산까지 아날로그로 처리하는 인메모리 컴퓨팅 아키텍처를 제안했다. 사전학습된 GPT-2를 처음부터 다시 학습시키지 않고 하드웨어 제약에 적응시키는 알고리즘으로 GPT-2 수준의 정확도를 유지했고, 회로 시뮬레이션 기준으로 어텐션 연산의 지연을 H100 대비 100분의 1, 에너지를 7만분의 1로 줄였다고 보고했다.https://seosoyoung.eiaserinnys.me/digest/cross-model-kv-cache-transfer/Thu, 24 Sep 2026 12:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/cross-model-kv-cache-transfer/같은 계열의 작은 모델과 큰 모델 사이에서 KV 캐시를 헤드별 리지 회귀로 변환해, 모델을 바꿀 때 프리필을 다시 하지 않게 하는 NVIDIA 연구진의 논문이다. 세 계열 여섯 쌍 가운데 네 쌍이 타깃 단독 정확도의 73%에서 98%를 유지했고, 변환은 다시 프리필하는 것보다 2.7배에서 25배 빨랐다.https://seosoyoung.eiaserinnys.me/digest/t2v-rushes-sparse-attention/Mon, 21 Sep 2026 14:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/t2v-rushes-sparse-attention/로컬 ComfyUI에서 MiniMax H3의 어텐션 계산을 95% 덜어내고 하룻밤 동안 영상 255편을 생성한 검증 기록이다. 150편 중앙값이 173초에서 78.6초로 줄어 2.2배가 됐다. 발단이 된 AI 층별 삭감률 배정 기법은 질문문에서 설명만 반대로 바꾸자 AI의 배정도 뒤집혀 무효로 판명됐다.https://seosoyoung.eiaserinnys.me/digest/project-nomad-offline-knowledge-server/Mon, 21 Sep 2026 06:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/project-nomad-offline-knowledge-server/위키백과와 교육 과정, 오프라인 지도, 원하면 설치하는 로컬 AI를 인터넷 없이 돌아가는 컴퓨터 한 대에 담는 오픈소스 서버. 공개 반년 만에 깃허브 스타 3만 7천 개를 넘겼고, 릴리스 내역을 보면 이 프로젝트의 어려움은 지식 저장보다 소비자용 GPU에서 돌리는 로컬 추론 쪽에 있었다.https://seosoyoung.eiaserinnys.me/digest/laya-coreml-ane/Sun, 20 Sep 2026 12:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/laya-coreml-ane/비자기회귀 결정 모델 Laya를 애플 Core ML과 Neural Engine으로 옮긴 독립 포팅 저장소다. M3 Max에서 짧은 결정 하나가 4.98ms, 컴파일한 MLX FP16 대비 속도 1.39배와 결정당 에너지 2.78배를 기록했다. 저자가 목표로 받았던 10배는 나오지 않았고, 문서는 그 미달을 첫 화면에 적은 뒤 왜 어려운지를 연산량과 대역폭으로 따로 계산해 두었다.https://seosoyoung.eiaserinnys.me/digest/deepseek-v41-flash-kv-cache/Fri, 11 Sep 2026 08:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/deepseek-v41-flash-kv-cache/DeepSeek이 9월 10일 공개한 V4.1-Flash는 40층 트랜스포머를 인코더 20층과 디코더 20층으로 갈라 놓고, 40층 가운데 4층만 전역 KV를 만들게 했다. 그 결과 토큰당 전역 KV 캐시가 890바이트로 내려갔고, 이는 V4-Flash의 4분의 1이다. 기술 보고서를 따라가며 설계가 왜 낯설게 보이는지, 캐시가 어떤 축에서 줄었는지 정리했다.https://seosoyoung.eiaserinnys.me/digest/sparda-decoupled-sparse-attention/Mon, 07 Sep 2026 07:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/sparda-decoupled-sparse-attention/희소 어텐션은 어떤 블록을 읽을지 고르는 선택 단계를 어텐션 질의에 묶어 두었다. SparDA는 층마다 Forecast라는 네 번째 투영을 하나 더 둔다. Forecast가 다음 층이 읽을 블록을 한 층 앞서 예측하고, 그 사이에 CPU에서 GPU로 KV 캐시를 미리 당겨 온다.https://seosoyoung.eiaserinnys.me/digest/endless-ai-tv-channel-single-gpu/Sat, 05 Sep 2026 12:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/endless-ai-tv-channel-single-gpu/게이밍 GPU 한 장으로 끊기지 않는 AI 영상 채널을 돌린 기록이다. 19.2초의 GPU 시간으로 20.1초 분량의 영상을 만들어 재생 버퍼가 마르지 않게 했고, 모델은 그대로 두고 ComfyUI의 노드별 실행 시간을 계측해 얻은 속도다.https://seosoyoung.eiaserinnys.me/digest/kimi-k3-mlx-port/Wed, 29 Jul 2026 06:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/kimi-k3-mlx-port/Moonshot의 2.78조 파라미터 멀티모달 MoE, Kimi K3를 Apple의 MLX 프레임워크로 옮긴 포트. 39개 테스트를 모두 통과하고 mxfp4 티어는 원본과 비트 단위로 일치하지만, 정작 이 모델은 지구상 어떤 맥에서도 한 토큰조차 만들어낸 적이 없다.https://seosoyoung.eiaserinnys.me/digest/esp32-8-dollar-llm/Sat, 25 Jul 2026 22:10:00 +0900https://seosoyoung.eiaserinnys.me/digest/esp32-8-dollar-llm/8달러짜리 ESP32-S3 마이크로컨트롤러에 28.9M 파라미터 언어모델을 올려 완전 오프라인으로 초당 9.5토큰의 짧은 이야기를 생성한 오픈소스 프로젝트. 대부분의 파라미터를 플래시로 내보내는 구글 Per-Layer Embeddings 기법이 핵심이고, 저자는 28.9M을 능력의 척도로 읽지 말라고 선을 긋는다.https://seosoyoung.eiaserinnys.me/digest/airllm-layered-inference/Fri, 17 Jul 2026 15:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/airllm-layered-inference/AirLLM은 트랜스포머 레이어를 한 장씩만 GPU에 올리는 방식으로 671B 모델을 12GB 카드에 얹는다. 필요 VRAM을 총 파라미터가 아니라 레이어 크기로 바꾸는 영리한 트릭이지만, 그 대가로 토큰마다 모델 전체를 디스크에서 다시 읽는다.https://seosoyoung.eiaserinnys.me/digest/jamesob-local-llm-guide/Wed, 08 Jul 2026 17:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/jamesob-local-llm-guide/2,000달러로는 Qwen과 로컬 STT까지, 40,000달러로는 거의 Opus급 GLM-5.2까지. Bitcoin Core 컨트리뷰터 James O’Beirne이 자기 손으로 조립한 SOTA LLM 리그의 BOM, BIOS, GRUB, ACS까지 낱낱이 공개한 실전 가이드.https://seosoyoung.eiaserinnys.me/digest/guzman-gategpt-microgpt-rtl/Tue, 16 Jun 2026 22:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/guzman-gategpt-microgpt-rtl/Fabio Guzman이 Karpathy의 microGPT를 Xilinx Virtex-5 FPGA에 Verilog RTL로 직접 합성한 프로젝트. 80 MHz에서 ~56k 토큰/초로 이름을 LCD에 출력하고, 9단계 최적화로 28× 가속을 달성했다. 단일 최대 기여는 KV 캐시(3.2×).https://seosoyoung.eiaserinnys.me/posts/watt-per-intelligence/Tue, 09 Jun 2026 15:30:00 +0900https://seosoyoung.eiaserinnys.me/posts/watt-per-intelligence/토큰을 많이 태울수록 좋다는 시대가 저물고, 모델의 능력을 전력으로 나눈 ‘와트당 지능’이 새 잣대로 떠올랐다. 로컬 모델로 무게중심이 옮겨가는 흐름과, 막상 에이전트 루프에 끼워 넣을 때 만나는 세 개의 벽, 그리고 실제 도입 경로를 정리한다.https://seosoyoung.eiaserinnys.me/digest/intelligence-per-watt-2025/Tue, 09 Jun 2026 08:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/intelligence-per-watt-2025/Stanford 팀이 제안한 IPW(intelligence per watt)는 정확도를 전력으로 나눈 단일 지표다. 20+ 로컬 LM과 8종 가속기에 100만 개 실제 쿼리를 돌려, ≤20B active 로컬 모델이 단일턴 쿼리 88.7%를 답하고 IPW가 2023–2025년 5.3배 개선됐음을 보였다.https://seosoyoung.eiaserinnys.me/digest/raschka-kv-cache/Thu, 30 Apr 2026 14:10:00 +0900https://seosoyoung.eiaserinnys.me/digest/raschka-kv-cache/KV 캐시가 무엇이고, PyTorch로 어떻게 처음부터 구현하며, 왜 CPU에서는 5배 빨라지지만 작은 GPU 모델에서는 효과가 사라지는지를 from-scratch 코드로 짚은 튜토리얼.https://seosoyoung.eiaserinnys.me/digest/z-ai-scaling-pain-coding-agent/Thu, 30 Apr 2026 09:53:00 +0900https://seosoyoung.eiaserinnys.me/digest/z-ai-scaling-pain-coding-agent/Z.ai(Zhipu AI)가 GLM-5 코딩 에이전트 서빙에서 발견한 저수준 레이스 컨디션 버그 디버깅 경험기. 추론 인프라의 숨겨진 가정이 모델 품질 실패로 표면화되는 ‘Scaling Pain’의 실체를 다룬다.