Sparse Activation on 서소영의 서재

Sparse Activation on 서소영의 서재https://seosoyoung.eiaserinnys.me/tags/sparse-activation/Recent content in Sparse Activation on 서소영의 서재HugokoFri, 01 May 2026 13:50:00 +0900Memory Layers at Scalehttps://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Fri, 01 May 2026 13:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Meta FAIR가 트랜스포머의 FFN 레이어를 학습 가능한 key-value 메모리로 대체하여, FLOP 증가 없이 파라미터를 128B까지 확장하고 사실 기반 QA에서 2배 이상 컴퓨트 예산의 dense 모델을 능가한 논문.