https://seosoyoung.eiaserinnys.me/tags/%EB%A9%94%EB%AA%A8%EB%A6%AC-%EB%A0%88%EC%9D%B4%EC%96%B4/Recent content in 메모리 레이어 on 서소영의 서재HugokoFri, 01 May 2026 13:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Fri, 01 May 2026 13:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Meta FAIR가 트랜스포머의 FFN 레이어를 학습 가능한 key-value 메모리로 대체하여, FLOP 증가 없이 파라미터를 128B까지 확장하고 사실 기반 QA에서 2배 이상 컴퓨트 예산의 dense 모델을 능가한 논문.