함수 호출 on 서소영의 서재https://seosoyoung.eiaserinnys.me/tags/%ED%95%A8%EC%88%98-%ED%98%B8%EC%B6%9C/Recent content in 함수 호출 on 서소영의 서재HugokoThu, 14 May 2026 09:00:00 +0900Needle — 26M 함수 호출 전용 모델, FFN을 통째로 들어낸 어텐션 네트워크https://seosoyoung.eiaserinnys.me/digest/cactus-needle-26m/Thu, 14 May 2026 09:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/cactus-needle-26m/Cactus Compute가 Gemini 3.1을 26M 파라미터로 증류한 함수 호출 전용 모델. FFN을 통째로 들어낸 인코더-디코더 ‘Simple Attention Network’와 INT4 QAT, 게이트드 잔차, 토큰 가중 손실 등 작은 모델을 위한 설계 결정을 정리한다.