로컬 추론 on 서소영의 서재https://seosoyoung.eiaserinnys.me/tags/%EB%A1%9C%EC%BB%AC-%EC%B6%94%EB%A1%A0/Recent content in 로컬 추론 on 서소영의 서재HugokoTue, 09 Jun 2026 08:00:00 +0900Intelligence per Watt — 로컬 AI의 와트당 지능을 재다 (Saad-Falcon et al., 2025)https://seosoyoung.eiaserinnys.me/digest/intelligence-per-watt-2025/Tue, 09 Jun 2026 08:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/intelligence-per-watt-2025/Stanford 팀이 제안한 IPW(intelligence per watt)는 정확도를 전력으로 나눈 단일 지표다. 20+ 로컬 LM과 8종 가속기에 100만 개 실제 쿼리를 돌려, ≤20B active 로컬 모델이 단일턴 쿼리 88.7%를 답하고 IPW가 2023–2025년 5.3배 개선됐음을 보였다.