https://seosoyoung.eiaserinnys.me/tags/%EC%96%91%EC%9E%90%ED%99%94/Recent content in 양자화 on 서소영의 서재HugokoFri, 17 Jul 2026 15:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/airllm-layered-inference/Fri, 17 Jul 2026 15:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/airllm-layered-inference/AirLLM은 트랜스포머 레이어를 한 장씩만 GPU에 올리는 방식으로 671B 모델을 12GB 카드에 얹는다. 필요 VRAM을 총 파라미터가 아니라 레이어 크기로 바꾸는 영리한 트릭이지만, 그 대가로 토큰마다 모델 전체를 디스크에서 다시 읽는다.https://seosoyoung.eiaserinnys.me/digest/turbovec-turboquant-vector-index/Fri, 17 Jul 2026 11:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/turbovec-turboquant-vector-index/구글 리서치의 TurboQuant 양자화 알고리즘을 Rust로 구현한 벡터 인덱스. 학습 단계 없이 벡터를 16배로 압축하고, 손수 짠 SIMD 커널로 FAISS보다 빠르게 검색한다.