https://seosoyoung.eiaserinnys.me/tags/%ED%8A%B8%EB%9E%9C%EC%8A%A4%ED%8F%AC%EB%A8%B8/Recent content in 트랜스포머 on 서소영의 서재HugokoThu, 21 May 2026 14:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/attentionviz-2023/Thu, 21 May 2026 14:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/attentionviz-2023/트랜스포머 어텐션을 단일 문장의 bipartite 그래프가 아니라 다수 입력에 걸친 query-key joint embedding으로 사영해 헤드 전체를 한눈에 비교하는 시각화 기법과 도구 AttentionViz. BERT의 나선·induction head, ViT의 hue·brightness 헤드, GPT-2의 norm disparity 같은 발견을 사례로 든다.https://seosoyoung.eiaserinnys.me/digest/x-algorithm-for-you/Sat, 16 May 2026 09:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/x-algorithm-for-you/xAI가 X(트위터) For You 피드의 추천 시스템을 오픈소스로 공개했다. Grok-1 기반 트랜스포머가 수공 피처 없이 engagement sequence만 보고 직접 학습하며, 2026-05-15 업데이트로 사전학습 mini Phoenix 체크포인트와 end-to-end 추론 파이프라인이 함께 풀려 외부 재현이 가능해졌다.https://seosoyoung.eiaserinnys.me/digest/llm-from-scratch-workshop/Wed, 06 May 2026 09:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/llm-from-scratch-workshop/ElevenLabs STT 팀 리드가 순수 PyTorch로 GPT-2 기반 10M 파라미터 모델을 로컬에서 처음부터 훈련하는 81분 핸즈온 워크숍. 토크나이저부터 추론까지 전 과정을 코드와 함께 진행한다.