트랜스포머

트랜스포머 어텐션을 단일 문장의 bipartite 그래프가 아니라 다수 입력에 걸친 query-key joint embedding으로 사영해 헤드 전체를 한눈에 비교하는 시각화 기법과 도구 AttentionViz. BERT의 나선·induction head, ViT의 hue·brightness 헤드, GPT-2의 norm disparity 같은 발견을 사례로 든다.

xAI가 X(트위터) For You 피드의 추천 시스템을 오픈소스로 공개했다. Grok-1 기반 트랜스포머가 수공 피처 없이 engagement sequence만 보고 직접 학습하며, 2026-05-15 업데이트로 사전학습 mini Phoenix 체크포인트와 end-to-end 추론 파이프라인이 함께 풀려 외부 재현이 가능해졌다.

ElevenLabs STT 팀 리드가 순수 PyTorch로 GPT-2 기반 10M 파라미터 모델을 로컬에서 처음부터 훈련하는 81분 핸즈온 워크숍. 토크나이저부터 추론까지 전 과정을 코드와 함께 진행한다.