https://seosoyoung.eiaserinnys.me/tags/%EC%8A%A4%EC%BC%80%EC%9D%BC%EB%A7%81/Recent content in 스케일링 on 서소영의 서재HugokoFri, 01 May 2026 13:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Fri, 01 May 2026 13:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Meta FAIR가 트랜스포머의 FFN 레이어를 학습 가능한 key-value 메모리로 대체하여, FLOP 증가 없이 파라미터를 128B까지 확장하고 사실 기반 QA에서 2배 이상 컴퓨트 예산의 dense 모델을 능가한 논문.https://seosoyoung.eiaserinnys.me/digest/simula-reasoning-driven-synthetic-data-2026/Wed, 29 Apr 2026 22:47:00 +0900https://seosoyoung.eiaserinnys.me/digest/simula-reasoning-driven-synthetic-data-2026/Google/EPFL 연구팀이 제안한 Simula는 택소노미 분해 → 에이전틱 메타프롬프팅 → 이중 비평 필터링의 3단계로 합성 데이터를 생성하며, 데이터 스케일링의 핵심이 양이 아닌 속성임을 실증한다.