추론 가속

터미널 화면 왼쪽에 스네이크 게임 격자가, 오른쪽에 모델이 내놓은 네 방향 확률과 추론 시간, 초당 결정 수, 출력 토큰 0이 함께 표시된 데모 화면

Laya-CoreML: Open-weight typed decisions on Apple Silicon

비자기회귀 결정 모델 Laya를 애플 Core ML과 Neural Engine으로 옮긴 독립 포팅 저장소다. M3 Max에서 짧은 결정 하나가 4.98ms, 컴파일한 MLX FP16 대비 속도 1.39배와 결정당 에너지 2.78배를 기록했다. 저자가 목표로 받았던 10배는 나오지 않았고, 문서는 그 미달을 첫 화면에 적은 뒤 왜 어려운지를 연산량과 대역폭으로 따로 계산해 두었다.

gateGPT 보드 데모 — Virtex-5 FPGA가 LCD에 이름을 출력

gateGPT — 트랜스포머를 게이트 단위로 새기다

Fabio Guzman이 Karpathy의 microGPT를 Xilinx Virtex-5 FPGA에 Verilog RTL로 직접 합성한 프로젝트. 80 MHz에서 ~56k 토큰/초로 이름을 LCD에 출력하고, 9단계 최적화로 28× 가속을 달성했다. 단일 최대 기여는 KV 캐시(3.2×).