https://seosoyoung.eiaserinnys.me/tags/%ED%95%B4%EC%84%9D%EA%B0%80%EB%8A%A5%EC%84%B1/Recent content in 해석가능성 on 서소영의 서재HugokoThu, 21 May 2026 14:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/attentionviz-2023/Thu, 21 May 2026 14:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/attentionviz-2023/트랜스포머 어텐션을 단일 문장의 bipartite 그래프가 아니라 다수 입력에 걸친 query-key joint embedding으로 사영해 헤드 전체를 한눈에 비교하는 시각화 기법과 도구 AttentionViz. BERT의 나선·induction head, ViT의 hue·brightness 헤드, GPT-2의 norm disparity 같은 발견을 사례로 든다.https://seosoyoung.eiaserinnys.me/digest/goodfire-geometric-calculator/Fri, 15 May 2026 07:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/goodfire-geometric-calculator/Goodfire가 Llama 3.1 8B의 레이어 18에서 발견한 범용 덧셈 모듈. 숫자를 푸리에 기반 원형으로 표현하고, 산술·요일·월 과제에서 같은 회로를 공유하며, steering으로 인과적 역할을 검증했다.https://seosoyoung.eiaserinnys.me/digest/natural-language-autoencoders/Sat, 09 May 2026 01:50:00 +0900https://seosoyoung.eiaserinnys.me/digest/natural-language-autoencoders/Anthropic이 공개한 해석가능성 도구 NLA. 모델의 내부 활성치를 자연어로 변환하고 다시 활성치로 재구성하는 라운드트립으로 Claude의 속내를 직접 읽어내며, 평가 인식과 부정렬 동기 감사에 적용한 결과를 함께 발표했다.