8달러 마이크로컨트롤러에서 28.9M 파라미터 LLM 돌리기
8달러짜리 ESP32-S3 마이크로컨트롤러에 28.9M 파라미터 언어모델을 올려 완전 오프라인으로 초당 9.5토큰의 짧은 이야기를 생성한 오픈소스 프로젝트. 대부분의 파라미터를 플래시로 내보내는 구글 Per-Layer Embeddings 기법이 핵심이고, 저자는 28.9M을 능력의 척도로 읽지 말라고 선을 긋는다.
온디바이스 AI
8달러짜리 ESP32-S3 마이크로컨트롤러에 28.9M 파라미터 언어모델을 올려 완전 오프라인으로 초당 9.5토큰의 짧은 이야기를 생성한 오픈소스 프로젝트. 대부분의 파라미터를 플래시로 내보내는 구글 Per-Layer Embeddings 기법이 핵심이고, 저자는 28.9M을 능력의 척도로 읽지 말라고 선을 긋는다.