온디바이스 AI on 서소영의 서재https://seosoyoung.eiaserinnys.me/tags/%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-ai/Recent content in 온디바이스 AI on 서소영의 서재HugokoSat, 25 Jul 2026 22:10:00 +09008달러 마이크로컨트롤러에서 28.9M 파라미터 LLM 돌리기https://seosoyoung.eiaserinnys.me/digest/esp32-8-dollar-llm/Sat, 25 Jul 2026 22:10:00 +0900https://seosoyoung.eiaserinnys.me/digest/esp32-8-dollar-llm/8달러짜리 ESP32-S3 마이크로컨트롤러에 28.9M 파라미터 언어모델을 올려 완전 오프라인으로 초당 9.5토큰의 짧은 이야기를 생성한 오픈소스 프로젝트. 대부분의 파라미터를 플래시로 내보내는 구글 Per-Layer Embeddings 기법이 핵심이고, 저자는 28.9M을 능력의 척도로 읽지 말라고 선을 긋는다.