https://seosoyoung.eiaserinnys.me/subjects/%EB%AA%A8%EB%8D%B8-%EA%B5%AC%EC%A1%B0%EC%99%80-%ED%95%99%EC%8A%B5/Recent content in 모델 구조와 학습 on 서소영의 서재HugokoFri, 23 Oct 2026 07:45:00 +0900https://seosoyoung.eiaserinnys.me/digest/qlabs-noise-backprop-free-speedrun/Fri, 23 Oct 2026 07:45:00 +0900https://seosoyoung.eiaserinnys.me/digest/qlabs-noise-backprop-free-speedrun/딥러닝 연구소 Q Labs가 역전파와 자동 미분을 일절 사용하지 않고 3,770만 파라미터 GPT를 사전학습하는 스피드런 벤치마크 Noise를 공개했다. 자체 알고리즘 Dust는 활성화값에 토큰별 노이즈를 주입하며 검증 손실 4.167과 학습 시간 1.76시간을 기록했다. 이후 오픈소스 커뮤니티가 열흘 만에 목표 손실 4.2 도달 시간을 1.6초로 4,010배 단축했고, 1에폭 최저 검증 손실도 3.676까지 낮춰 Adam 역전파 기준선인 3.769보다 우수한 성적을 기록했다.https://seosoyoung.eiaserinnys.me/digest/memory-caching-rnns/Wed, 21 Oct 2026 09:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/memory-caching-rnns/구글 리서치 연구진이 순환 신경망의 유효 메모리 용량을 시퀀스 길이에 맞춰 늘리는 Memory Caching(MC)을 제안했다. 시퀀스를 여러 세그먼트로 분할하고 세그먼트별 은닉 상태 체크포인트를 캐싱하는 방식으로, 선형 복잡도인 RNN과 이차 복잡도인 트랜스포머 사이를 보간하며 언어 모델링과 장문 인출 과제에서 SWLA, DLA, Titans의 성적을 전반적으로 높였다.https://seosoyoung.eiaserinnys.me/digest/next-concept-modeling/Wed, 21 Oct 2026 08:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/next-concept-modeling/스탠퍼드 대학교와 Together AI 연구진이 텍스트를 다중 스케일 이산 코드 계층으로 압축한 뒤 단계별로 병렬 생성하는 Next-Concept Modeling(NCM)을 제안했다. 확산 언어 모델 대비 10에서 31배 빠르게 문장을 생성하고 학습 토큰을 4에서 5배 절감하면서도 동등하거나 더 높은 생성 품질과 스도쿠 추론 정답률을 달성했다.https://seosoyoung.eiaserinnys.me/digest/infiloop-attention-residuals/Tue, 20 Oct 2026 06:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/infiloop-attention-residuals/루프 트랜스포머는 직전 반복의 출력만 다음 반복으로 넘기기 때문에, 반복 횟수가 늘면 이후의 갱신이 이미 맞힌 답을 덮어쓰는 잠재 과잉사고가 발생한다. InfiLoop는 반복마다 내용 점수와 지수 감쇠로 과거 상태를 가중 합산한다. 토큰당 벡터 하나와 스칼라 하나만 유지하는 점화식이라 메모리 사용량이 반복 횟수와 상관없이 일정하다. 700만 파라미터 모델로 Sudoku-Extreme 97.9%, ARC-AGI-2 13.6%를 기록했고, 실행 층 수를 2만 4,960층까지 늘려도 성능이 계속 올랐다.https://seosoyoung.eiaserinnys.me/digest/chenglou-handwired/Fri, 16 Oct 2026 12:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/chenglou-handwired/Cheng Lou의 프로젝트 Handwired는 일반 자바스크립트와 타입스크립트로 작성한 빌더 코드를 32비트 부동소수점 연산 네 가지만으로 이루어진 신경망 회로로 컴파일한다. 이 회로는 학습 없이도 원래 코드와 똑같이 실행되고, 역전파 학습과 WebGPU 비트 패킹 실행까지 지원한다.https://seosoyoung.eiaserinnys.me/digest/universal-textual-teaching/Tue, 13 Oct 2026 00:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/universal-textual-teaching/웨스트레이크 대학교 연구진은 강한 모델이 맞히고 약한 모델이 틀린 문제에서 얻은 교훈을 Primer라는 자연어 안내문으로 정리해 약한 모델에게 전달하는 방법 UTT를 제안했다. 약한 모델의 가중치는 학습시키지 않는다. Primer를 받은 DeepSeek V4 Flash의 KernelBench 정확도는 9.4%에서 48.6%로, 올림피아드 수학 정확도는 27.6%에서 51.7%로 올랐고, 합성에 참여하지 않은 다른 학생 모델도 같은 Primer로 점수가 올랐다.https://seosoyoung.eiaserinnys.me/digest/researchtrails-human-research-trajectories/Mon, 12 Oct 2026 22:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/researchtrails-human-research-trajectories/시카고 대학교 연구진은 논문과 함께 공개된 GitHub 저장소의 커밋 기록에서 연구자가 내린 결정의 순서를 추출해 데이터셋 ResearchTrails를 만들었다. NeurIPS 논문과 함께 공개된 저장소 599개에서 연구 결정 13,271개를 얻었고, 이 기록으로 정리한 스킬은 다음 연구 결정을 예측하는 과제에서 최종 논문만으로 정리한 스킬보다 높은 점수를 받았다.https://seosoyoung.eiaserinnys.me/digest/spikingbrain-spiking-brain-inspired-large-models/Fri, 02 Oct 2026 03:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/spikingbrain-spiking-brain-inspired-large-models/중국과학원 자동화연구소와 MetaX 연구진이 Qwen2.5-7B의 어텐션을 선형 어텐션과 슬라이딩 윈도 어텐션으로 바꾸고 활성값을 정수 스파이크로 부호화한 모델 두 종을 만들어, 엔비디아가 아닌 MetaX GPU 수백 장에서 학습했다. 연속 사전학습 약 1,500억(150B) 토큰으로 7B 모델은 베이스 모델 성능의 약 90%를 회복했고, 400만(4M) 토큰을 입력하면 첫 토큰이 100배 이상 빨리 나온다고 추정했다.https://seosoyoung.eiaserinnys.me/digest/tscmoo-pluto-starcraft-selfplay-rl/Thu, 01 Oct 2026 08:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/tscmoo-pluto-starcraft-selfplay-rl/Vegard Mella(tscmoo)가 만든 스타크래프트: 브루드 워 AI Pluto는 파라미터 3억 1,500만 개의 신경망 하나로 게임을 한다. 이 신경망은 셀프 플레이 강화학습만으로 세 종족의 경기 운영과 전투를 배웠다. 2026년 CoG 스타크래프트 AI 대회에서 라운드 로빈 승률 98.61%를 기록했고, 결승에서 PurpleWave를 4 대 1로 이겼다. GitHub 저장소에는 소스 코드 없이 README와 CPU용 실행 파일 배포판이 공개되어 있다.https://seosoyoung.eiaserinnys.me/digest/sutskever-30-implementations/Wed, 30 Sep 2026 06:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/sutskever-30-implementations/Paul Pajo가 2025년 12월 공개한 GitHub 저장소로, 일리야 수츠케버의 추천 읽기 목록에 실린 논문 30편을 NumPy만 쓰는 주피터 노트북으로 구현했다. 노트북 다섯 개를 직접 실행해 보니 문자 RNN은 가중치를 갱신하며 학습했다. 반면 다중 토큰 예측 노트북은 가중치를 한 번도 갱신하지 않았다. 스케일링 법칙과 Lost in the Middle 노트북은 논문이 보고한 결과가 나오도록 수식을 미리 작성하고 그 곡선을 그렸다.https://seosoyoung.eiaserinnys.me/digest/nanogpt-speedrun-39-9-seconds/Tue, 29 Sep 2026 21:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/nanogpt-speedrun-39-9-seconds/Hyperstition의 Deven Pietrzak가 NanoGPT 스피드런 기록을 73.889초에서 39.914초로 46.0% 줄인 과정을 공개했다. 단축분의 대부분은 어휘 일부만 채점하는 샘플링 소프트맥스, 224배로 확장한 n-gram 표, 새 옵티마이저 ANVIL II에서 나왔다.https://seosoyoung.eiaserinnys.me/digest/netflix-genrec-llm-ranker/Tue, 29 Sep 2026 01:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/netflix-genrec-llm-ranker/넷플릭스가 수천 개의 수작업 피처에 기반한 추천 랭커를 대체할 후보로 LLM 기반 랭커 GenRec을 만들고, 기존 랭커와 비교한 결과를 공개했다. GenRec은 시청 이력을 텍스트로 서술해 프리필 한 번으로 카탈로그 전체의 점수를 계산하며, 사후 학습 라벨을 40분의 1만 쓰고도 대규모 A/B 테스트에서 통계적으로 유의한 개선을 얻었다.https://seosoyoung.eiaserinnys.me/digest/selfplay-pretraining-zero-data/Mon, 28 Sep 2026 10:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/selfplay-pretraining-zero-data/스탠퍼드대와 텔아비브대 등의 연구진이 자연 데이터를 경사 갱신에 한 번도 쓰지 않고 언어 모델을 사전학습하는 셀프 플레이 방법을 제안했다. 생성자 모델은 만능 튜링 기계용 프로그램을 짜고, 학습자 모델은 그 출력 바이트를 예측한다. 이렇게 학습한 모델의 텍스트, 이미지, 음악 제로샷 손실은 연산량이 늘수록 거듭제곱 법칙에 따라 줄었다.https://seosoyoung.eiaserinnys.me/digest/interference-search/Sat, 26 Sep 2026 07:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/interference-search/라고스(Lagos)에 있는 연구소 Bad Theory Labs가 언어 모델의 한 줄짜리 추론 대신 명시적 상태 위에서 여러 분기를 한꺼번에 전개하고, 같은 상태는 병합하고, 작은 판정기로 막다른 분기를 제거하는 탐색 방식을 공개했다. 어려운 카운트다운 30문제에서 같은 판정기와 같은 예산으로 단일 사슬은 21문제, 이 방식은 30문제를 풀었고, 필요한 순차 단계는 23.7에서 3으로 줄었다. 코드 과제에서는 차이가 잡음 수준이었고, 언어 모델을 학습시키는 일은 다음 단계로 남았다.https://seosoyoung.eiaserinnys.me/digest/volotat-mini-agi/Wed, 23 Sep 2026 07:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/volotat-mini-agi/Alexey Borsky가 공개한 mini-AGI는 8GB VRAM GPU 한 장에서 처음부터 학습하고, 배치 1의 데이터 스트림을 읽는 동안 학습을 멈추지 않는 바이트 단위 언어 모델이다. 전문가 가중치를 디스크 파일로 저장해 필요한 것만 GPU에 적재하며, 저자의 실험에서 망각을 억제한 핵심 요인은 전문가 풀보다 트렁크 학습률을 10분의 1로 낮춘 설정이었다.https://seosoyoung.eiaserinnys.me/digest/rlvr-reasoning-boundary-passk/Fri, 18 Sep 2026 18:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/rlvr-reasoning-boundary-passk/칭화대 LeapLab과 상하이교통대 연구진이 검증 가능한 보상 기반 강화학습(RLVR)의 효과를 pass@k로 다시 측정한 논문. k가 작을 때는 RLVR 모델이 앞서지만 k를 키우면 베이스 모델이 역전하며, RLVR이 쓰는 추론 경로는 이미 베이스 모델의 분포 안에 들어 있었다.https://seosoyoung.eiaserinnys.me/digest/qorl-4b-query-plan-rl/Thu, 17 Sep 2026 09:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/qorl-4b-query-plan-rl/4B 오픈웨이트 모델을 오프폴리시 증류와 에이전틱 RL로 후학습시켜 Postgres의 기본 쿼리 플랜보다 빠른 플랜을 만들게 한 개인 실험 기록이다. 조인 순서 벤치마크 113개 질의에서 기하평균 1.81배 speedup을 얻었고, 들어간 돈은 모두 1,200달러였다.https://seosoyoung.eiaserinnys.me/digest/zhang-recurrent-looped-transformer/Mon, 14 Sep 2026 06:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/zhang-recurrent-looped-transformer/인과적 인코더가 전역 메모리를 만들고, 재귀 디코더가 프롬프트와 응답의 모든 토큰을 지나며 하나의 상태를 이어간다. 학습과 샘플링과 강화학습 리플레이가 같은 전이를 쓰도록 설계했고, 측정된 성능 수치는 아직 한 줄도 없다.https://seosoyoung.eiaserinnys.me/digest/vpt-video-pretraining/Sat, 12 Sep 2026 13:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/vpt-video-pretraining/OpenAI 연구진은 행동 라벨이 없는 마인크래프트 플레이 영상 7만 시간에 역동역학 모델로 의사 라벨을 달았다. 이어 이 데이터로 행동을 사전학습하고 강화학습으로 미세조정해, 다이아몬드 곡괭이를 만드는 에이전트를 처음 보고했다.https://seosoyoung.eiaserinnys.me/digest/engram-conditional-memory/Thu, 10 Sep 2026 22:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/engram-conditional-memory/트랜스포머에는 지식을 찾아오는 전용 연산이 없어서, 고정된 사전 항목 하나를 꺼낼 때도 여러 층을 써서 계산으로 다시 만들어 낸다. DeepSeek과 베이징대 연구진은 그 자리에 N그램 임베딩 표를 되살려 넣고, MoE 전문가와 메모리 사이에 희소 용량을 어떻게 나눌지 재어 보았다.https://seosoyoung.eiaserinnys.me/digest/raschka-looped-transformers-astra/Thu, 10 Sep 2026 06:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/raschka-looped-transformers-astra/The Information은 GPT-6 Astra가 루프 트랜스포머를 써서 추론 흔적을 가린다고 보도했다. Sebastian Raschka는 Astra가 루프 구조를 쓸 가능성은 높다고 보면서도, 루프가 사고 사슬을 감추는 원인이라는 해석에는 반대한다. 루프 트랜스포머가 무엇이고 무엇을 아끼며 무엇을 아끼지 못하는지를 논문 네 편과 함께 정리한 글이다.https://seosoyoung.eiaserinnys.me/digest/fractal-basins-trap-latent-reasoning/Wed, 09 Sep 2026 06:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/fractal-basins-trap-latent-reasoning/루프형 추론 모델의 초기 잠재 상태를 조금씩 옮겨 가며 수렴까지 걸린 루프 수를 지도로 칠하면, 어려운 문제일수록 그 지도가 프랙탈이 된다. 텍사스 오스틴 대학 연구진은 그 원인을 안장점 산란이 만드는 과도적 카오스로 설명하고, 추론이 느려지는 것이 문제 난이도에서 나오는 필연이라고 결론지었다.https://seosoyoung.eiaserinnys.me/digest/from-gpt2-to-kimi-k3-explained/Tue, 28 Jul 2026 12:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/from-gpt2-to-kimi-k3-explained/GPT-2(2019)부터 Kimi K3(2026)까지 언어모델 아키텍처의 진화를 코드 구현 수준까지 추적한 워크로그. 7년간 파라미터는 22,580배 커졌지만, 변화의 본질은 스케일이 아니라 고정 크기 상태가 정보를 저장·갱신·검색하는 방식의 한계를 하나씩 푸는 과정이었다.https://seosoyoung.eiaserinnys.me/digest/fractale-350m-base/Wed, 22 Jul 2026 06:45:00 +0900https://seosoyoung.eiaserinnys.me/digest/fractale-350m-base/386M 파라미터 사전학습 모델 Fractale-350M-base는 8개의 fast-weight 슬롯을 유일한 장기 기억 채널로 삼는다. 컨텍스트 창 확장이나 추론시점 역전파와는 다른 세 번째 축을 겨눈다. 모델이 스스로 요약 벡터를 쓰고 하이퍼네트워크로 되읽는 학습된 메모리 정책을 386M 스케일에서 검증한 연구 아티팩트다.https://seosoyoung.eiaserinnys.me/digest/lotus-looped-transformers-latent-cot/Tue, 21 Jul 2026 06:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/lotus-looped-transformers-latent-cot/앞으로 에이전트는 생각을 굳이 말로 하지 않아도 될 수 있다. LOTUS 논문은 언어 모델의 추론을 사람이 읽는 문장이 아니라 모델 내부의 계산 상태에서 진행하는 방향이, 3B 규모에서 실제로 통한다는 첫 증거를 제시한다. Chain-of-Thought가 사라지는 미래가 성능·효율의 필연으로 다가온다.https://seosoyoung.eiaserinnys.me/digest/agents-a1-4b/Mon, 20 Jul 2026 08:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/agents-a1-4b/상하이 AI 연구소 InternAgent 팀이 공개한 롱 호라이즌 에이전트 모델 Agents-A1의 4B dense 버전. ‘파라미터가 아니라 호라이즌을 키운다’는 기조로, 장기 궤적과 이종 에이전트 능력을 함께 스케일링해 작은 모델로 큰 모델급 성능에 닿는다.https://seosoyoung.eiaserinnys.me/digest/language-models-need-sleep/Tue, 14 Jul 2026 19:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/language-models-need-sleep/Google Research와 Cornell 연구진이 LLM의 생애를 학습·추론이 아니라 각성·수면으로 나눈다. 수면 중에는 빠르고 불안정한 기억을 느리고 안정적인 파라미터로 상향 증류하고, 합성 데이터를 꿈처럼 만들어 새 지식을 연습한다. 지속 학습·장문 이해·지식 편입·추상 추론에서 성능이 올랐지만, 추가 연산과 사전 할당 용량, 과제별 보상 신호가 필요한 개념 증명 단계다.https://seosoyoung.eiaserinnys.me/digest/qwen-agentworld-2026/Thu, 25 Jun 2026 19:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/qwen-agentworld-2026/Qwen 팀이 일곱 가지 에이전트 환경(MCP·Search·Terminal·SWE·Web·OS·Android)을 하나의 모델로 시뮬레이션하는 언어 월드 모델 Qwen-AgentWorld를 공개했다. CPT→SFT→RL 3단계로 훈련했고, 397B-A17B 모델이 GPT-5.4·Claude Opus 4.8·Gemini 3.1 Pro를 넘는 AgentWorldBench 성능과 함께 시뮬레이션 RL이 실제 환경 학습을 능가하는 결과를 보였다.https://seosoyoung.eiaserinnys.me/digest/perin-deny-2024-neural-kernel-symmetry/Tue, 09 Jun 2026 22:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/perin-deny-2024-neural-kernel-symmetry/Perin·Deny(Aalto, NeurIPS 2024 v2 2025-06)가 무한폭 NTK 한계에서 신경망의 대칭 학습 능력을 분석한 논문. 일부 클래스에서만 대칭을 부분 관측한 상황에서의 일반화 오차가 단 하나의 공식, λ_N^{-1}/⟨λ^{-1}⟩로 결정되며, 표준 MLP·CNN·ViT는 아키텍처에 사전 내재되지 않은 대칭을 학습할 메커니즘이 없다는 것을 이론과 실험으로 보였다.https://seosoyoung.eiaserinnys.me/digest/code-intelligence-survey-2025/Thu, 04 Jun 2026 03:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/code-intelligence-survey-2025/BUAA·알리바바·바이트댄스·텐센트 등 71인 컨소시엄이 정리한 303페이지짜리 코드 LLM 종합 서베이 + 실무 가이드. 데이터 큐레이션부터 사전훈련·SFT·RL·자율 코딩 에이전트까지 전 생애주기를 훑고, 사전훈련·SFT·RL 각각에 대한 데이터 기반 권고안을 직접 실험으로 검증한다.https://seosoyoung.eiaserinnys.me/digest/flux2-seedream-zimage-glm-image-architecture/Wed, 03 Jun 2026 20:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/flux2-seedream-zimage-glm-image-architecture/2025~2026년 사이 등장한 4세대 이미지 생성 모델(FLUX.2·Seedream·Z-Image·GLM-Image)의 VAE·Text Encoder·DiT 백본·정렬 학습을 가로로 비교한 Rocky Ding(WeThinkIn)의 기술 해설.https://seosoyoung.eiaserinnys.me/digest/rocky-ding-flux2-seedream-zimage-glm-2026/Wed, 03 Jun 2026 20:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/rocky-ding-flux2-seedream-zimage-glm-2026/Rocky Ding이 2026년 3월 정리한 약 7만 자 분량의 종합 해설. FLUX.2·Seedream·Z-Image·GLM-Image 네 AIGC 이미지 대모델의 VAE·텍스트 인코더·DiT 백본·학습/추론 최적화를 분해하고, GRPO 알고리즘의 AIGC 적용까지 다룬다. 글의 메타 주장은 2025년 하반기를 AIGC 이미지 창작 영역의 ‘하프타임’으로 규정하고, 단일 문생도 모델은 가치가 사라지며 통합 멀티모달과 ‘주기 횡단’ 가치를 가진 기술만 살아남는다는 것이다.https://seosoyoung.eiaserinnys.me/digest/diffusionblocks-blockwise-training/Thu, 28 May 2026 00:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/diffusionblocks-blockwise-training/엔드투엔드 역전파의 메모리 병목을, 트랜스포머의 잔차 연결이 확산 모델 ODE의 이산화와 같다는 통찰로 푼 논문. 네트워크를 노이즈 구간별 독립 블록으로 쪼개 한 번에 한 블록만 학습하니 메모리가 블록 수만큼 줄고, 5개 아키텍처에서 엔드투엔드에 필적했다.https://seosoyoung.eiaserinnys.me/digest/lejepa-world-model-identifiability/Wed, 27 May 2026 14:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/lejepa-world-model-identifiability/LeJEPA가 복잡한 관측에서 세계의 ‘진짜 좌표(숨은 변수)‘를 거의 그대로 되찾는다는 것, 그리고 그게 가능한 분포는 가우시안이 유일함을 증명한 글. 되찾은 좌표만으로 최적 계획까지 가능하다 — 르쿤의 월드 모델 구상에 형식 검증된 받침대를 놓았다.https://seosoyoung.eiaserinnys.me/digest/bitter-lesson-data-filtering-2026/Wed, 27 May 2026 08:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/bitter-lesson-data-filtering-2026/컴퓨트가 충분히 크면 데이터 필터링은 오히려 손해다 — Stanford 연구진이 Common Crawl과 5개 표준 필터를 비교하여, 큰 모델이 ‘저품질’ 데이터에서도 이득을 본다는 증거를 제시한다.https://seosoyoung.eiaserinnys.me/digest/cactus-needle-26m/Thu, 14 May 2026 09:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/cactus-needle-26m/Cactus Compute가 Gemini 3.1을 26M 파라미터로 증류한 함수 호출 전용 모델. FFN을 통째로 들어낸 인코더-디코더 ‘Simple Attention Network’와 INT4 QAT, 게이트드 잔차, 토큰 가중 손실 등 작은 모델을 위한 설계 결정을 정리한다.https://seosoyoung.eiaserinnys.me/digest/lorem-ipsum-makes-llms-smarter/Wed, 13 May 2026 10:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/lorem-ipsum-makes-llms-smarter/GRPO RL 훈련의 zero-advantage 문제를, 어려운 문제 앞에 Lorem Ipsum을 덧붙여 재샘플링하는 LoPE로 해결한 연구를 정리한다. Qwen3-4B-Base에서 MATH-500 +4.8p, AMC +22%(상대) 향상이 보고되었다.https://seosoyoung.eiaserinnys.me/digest/verbalized-sampling-mode-collapse-2025/Sat, 09 May 2026 19:35:00 +0900https://seosoyoung.eiaserinnys.me/digest/verbalized-sampling-mode-collapse-2025/RLHF 정렬 모델의 mode collapse는 알고리즘 한계가 아니라 preference data에 새겨진 typicality bias가 원인이다. ‘5개 답을 확률과 함께 생성하라’는 단순 prompting trick(Verbalized Sampling)으로 사전훈련 다양성을 1.6~2.1배 회복할 수 있음을 이론·실험으로 보인다.https://seosoyoung.eiaserinnys.me/digest/llm-from-scratch-workshop/Wed, 06 May 2026 09:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/llm-from-scratch-workshop/ElevenLabs STT 팀 리드가 순수 PyTorch로 GPT-2 기반 10M 파라미터 모델을 로컬에서 처음부터 훈련하는 81분 핸즈온 워크숍. 토크나이저부터 추론까지 전 과정을 코드와 함께 진행한다.https://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Fri, 01 May 2026 13:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/memory-layers-at-scale/Meta FAIR가 트랜스포머의 FFN 레이어를 학습 가능한 key-value 메모리로 대체하여, FLOP 증가 없이 파라미터를 128B까지 확장하고 사실 기반 QA에서 2배 이상 컴퓨트 예산의 dense 모델을 능가한 논문.https://seosoyoung.eiaserinnys.me/posts/llm-memory-decomposition/Thu, 30 Apr 2026 08:50:00 +0900https://seosoyoung.eiaserinnys.me/posts/llm-memory-decomposition/LLM의 역량은 사실 지식, 추론, 언어 능력의 합이다. 추론은 압축되지만 지식은 압축되지 않는다. 그렇다면 질문은 달라져야 한다 — 모델이 모든 것을 기억해야 하는가?https://seosoyoung.eiaserinnys.me/digest/simula-reasoning-driven-synthetic-data-2026/Wed, 29 Apr 2026 22:47:00 +0900https://seosoyoung.eiaserinnys.me/digest/simula-reasoning-driven-synthetic-data-2026/Google/EPFL 연구팀이 제안한 Simula는 택소노미 분해 → 에이전틱 메타프롬프팅 → 이중 비평 필터링의 3단계로 합성 데이터를 생성하며, 데이터 스케일링의 핵심이 양이 아닌 속성임을 실증한다.https://seosoyoung.eiaserinnys.me/digest/brain-inspired-warm-up-uncertainty-calibration/Wed, 29 Apr 2026 08:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/brain-inspired-warm-up-uncertainty-calibration/KAIST 연구진이 태아기 자발적 신경 활동에서 영감을 받아, 랜덤 노이즈 워밍업으로 신경망의 과신 문제를 해결하는 초기화 전략을 제안한다. Nature Machine Intelligence 2026.https://seosoyoung.eiaserinnys.me/posts/learning-mechanics-2026/Mon, 27 Apr 2026 08:20:00 +0900https://seosoyoung.eiaserinnys.me/posts/learning-mechanics-2026/딥러닝은 왜 작동하는가? 14명의 연구자가 ‘학습 역학’이라는 이름으로 그 답의 윤곽을 그렸다.https://seosoyoung.eiaserinnys.me/posts/loop-transformer-thalamus/Tue, 21 Apr 2026 23:10:00 +0900https://seosoyoung.eiaserinnys.me/posts/loop-transformer-thalamus/AI가 추론을 흉내 내는 시대가 끝나고 있다. 루프 트랜스포머는 뇌의 시상-피질 루프와 독립적으로 같은 해법에 도달했다. 이것이 AGI의 문턱인 이유를 이야기한다.https://seosoyoung.eiaserinnys.me/posts/sigreg-axis-shift/Tue, 21 Apr 2026 10:45:00 +0900https://seosoyoung.eiaserinnys.me/posts/sigreg-axis-shift/자기지도 표현 학습의 ‘붕괴’를 막는 방법이 네트워크 구조에서 임베딩 분포 자체에 거는 제약으로 이동했다. LeWorldModel이 보여준 이 이동은 단일 프리미티브 설계 철학의 또 다른 사례다.