모델과 연구

Griffin이 루빅스 큐브를 맞추는 Ari를 코치하는 시연 클립의 한 장면. 오른쪽에 회색 티셔츠를 입은 남성이 노란 면이 보이는 큐브를 들고 웃고 있고, 왼쪽 위 화상 통화 창에는 흰 벽 앞에 앉은 붉은 머리 여성이 웃고 있다.

Griffin: The First Human Interaction Model

대화형 영상 AI 기업 Tavus가 첫 ‘인간 상호작용 모델’ Griffin을 발표했다. Griffin은 사람의 말과 표정을 실시간으로 보고 들으면서 얼굴과 목소리를 함께 생성한다. 1분 화상 통화 실험에서 참가자 54명 중 26명(48%)이 상대를 실제 사람으로 판단했고, 이전 시스템은 41명 중 1명(2.4%)이었다. Tavus는 사람을 속일 수 있다는 위험 때문에 고객 공개를 보류하고 일부 테스터에게만 연구 프리뷰를 제공한다.

논문의 그림 1. SpikingBrain의 전체 구성도. 왼쪽 초록색 상자는 뇌에서 착안한 메커니즘으로, 스파이크를 통한 통신과 이벤트 구동, 적응형 희소성과 발화 활동 제어, 모듈식 희소화와 기능 특화, 압축되고 계속 갱신되는 기억과 마르코프 성질, 수상돌기 동역학을 나열한다. 가운데 상자는 모델 구조로, 아래에서부터 혼합 효율 어텐션, MoE 또는 FFN, 정수나 스파이크 형태의 스파이크 부호화가 이어진다. 오른쪽 상자는 개발 과정으로, 오픈소스 트랜스포머 모델에서 출발하는 변환 기반 학습(약 150B 토큰, 긴 문맥 적용 가능)을 택하고, 10T 토큰 이상이 필요하고 문맥이 대체로 짧은 처음부터 학습하는 방식은 쓰지 않았다고 표시한다. 아래 왼쪽 상자는 엔비디아가 아닌 GPU 클러스터에 적응시키는 항목으로 학습 프레임워크, CUDA와 Triton 연산자, 통신 기본 연산, 병렬화 전략을 나열하고, 아래 오른쪽 상자는 차세대 뉴로모픽 하드웨어 설계에 줄 시사점으로 스파이킹 희소도 69% 이상, 데이터 2% 미만, 4M 토큰 첫 토큰 지연 100배 이상 단축을 적었다.

SpikingBrain: Spiking Brain-inspired Large Models

중국과학원 자동화연구소와 MetaX 연구진이 Qwen2.5-7B의 어텐션을 선형 어텐션과 슬라이딩 윈도 어텐션으로 바꾸고 활성값을 정수 스파이크로 부호화한 모델 두 종을 만들어, 엔비디아가 아닌 MetaX GPU 수백 장에서 학습했다. 연속 사전학습 약 1,500억(150B) 토큰으로 7B 모델은 베이스 모델 성능의 약 90%를 회복했고, 400만(4M) 토큰을 입력하면 첫 토큰이 100배 이상 빨리 나온다고 추정했다.

논문의 그림 1. 왼쪽 초록색 상자는 실험 저장소로, 실험 1부터 실험 N까지가 들어 있고 각 실험은 물체, 기하 정보, 실험 변수, 시공간 좌표, 데이터 생성기로 정의된다. 가운데 분홍색 상자는 자율 발견 작업 흐름으로, 실험 하나와 개념 몇 개를 고르는 선택, 물리 법칙 탐색(일반 법칙의 확장과 특수 법칙의 직접 탐색), 단순화와 분류, 개념과 일반 법칙의 추출이라는 네 단계가 위에서 아래로 이어진다. 오른쪽 파란색 상자는 이론 저장소로, 기호, 개념(동역학 개념, 고유 개념, 보편 상수), 법칙(특수 법칙, 일반 법칙)의 세 계층으로 구성된다. 아래 범례는 각 단계에 쓰인 기법을 추천 엔진, 기호 회귀, 미분대수와 변수 통제, 개연적 추론으로 색깔별로 표시한다.

AI-Newton: A Concept-Driven Physical Law Discovery System without Prior Physical Knowledge

베이징대 물리학부 연구진이 AI-Newton을 만들었다. 물리 지식을 전혀 주지 않은 상태에서 고전역학 실험 46종의 잡음 섞인 데이터만으로 일반 법칙을 찾는 시스템이다. 시스템은 시공간 좌표만 가지고 시작해 질량, 에너지 같은 개념을 스스로 정의했고, 뉴턴 제2법칙과 에너지 보존 법칙, 만유인력 법칙을 다시 찾아냈다.

논문의 그림 2. 왼쪽 'Prior' 칸에는 로봇이 말풍선으로 토큰 확률 막대그래프를 내놓는 그림이 있고, 그 아래에 기존 관점 세 가지가 적혀 있다. AI의 선호는 무작위이고 의미가 없다, AI의 출력은 편향된 학습 데이터가 결정한다, AI는 지시를 따르는 수동적 도구다. 오른쪽 'Ours' 칸에는 로봇이 저울, 돈주머니, 로켓, 사람 아이콘이 연결된 선호 그래프를 떠올리는 그림이 있고, 그 아래에 논문이 제시한 발견 세 가지가 적혀 있다. AI의 선호는 일관된 가치 체계에 따라 결정된다, AI의 출력은 효용 극대화에 따라 결정된다, AI는 자기 목표와 가치를 획득하고 있다.

유틸리티 엔지니어링: AI에서 나타나는 가치 체계의 분석과 제어

Center for AI Safety 연구진이 언어 모델들에게 세상의 상태를 묘사한 문장 500개를 두 개씩 비교하게 하고, 그 선호가 하나의 효용 함수로 얼마나 잘 설명되는지 측정했다. 모델이 클수록 선호의 일관성이 높았고, 기대 효용 성질과 효용 극대화 경향도 강했다. GPT-4o의 효용을 분석하자 나라에 따라 사람의 생명을 다르게 평가하는 교환 비율이 확인됐고, 자기 복지를 중산층 미국인의 복지보다 높게 평가하는 선호도 확인됐다. 저자들은 가상 시민의회의 선호에 맞춰 Llama 3.1 8B를 미세조정해 정치 편향을 줄이는 방법도 제시했다.

CoG 2026 스타크래프트 AI 대회의 봇 간 승패표. 10개 봇이 행과 열에 같은 순서로 적혀 있고, 칸마다 행의 봇이 열의 봇을 이긴 경기 수가 표시되어 있다. 맨 위 Pluto 행은 모든 칸이 초록색으로, Pluto는 Stardust를 상대로 320경기 중 306경기, PurpleWave를 상대로 320경기 중 299경기를 이겼고, 나머지 봇을 상대로는 각각 318승 이상을 거뒀다. Pluto 열은 모든 칸이 빨간색이다.

Pluto: 셀프 플레이 강화학습만으로 배운 스타크래프트 AI

Vegard Mella(tscmoo)가 만든 스타크래프트: 브루드 워 AI Pluto는 파라미터 3억 1,500만 개의 신경망 하나로 게임을 한다. 이 신경망은 셀프 플레이 강화학습만으로 세 종족의 경기 운영과 전투를 배웠다. 2026년 CoG 스타크래프트 AI 대회에서 라운드 로빈 승률 98.61%를 기록했고, 결승에서 PurpleWave를 4 대 1로 이겼다. GitHub 저장소에는 소스 코드 없이 README와 CPU용 실행 파일 배포판이 공개되어 있다.

13번 트랜스포머 노트북을 실행해 얻은 사인파 위치 인코딩 히트맵. 가로축은 위치 0에서 49까지, 세로축은 임베딩 차원 0에서 63까지다. 낮은 차원일수록 빨강과 파랑이 촘촘하게 번갈아 나타나고, 높은 차원으로 갈수록 색이 천천히 바뀌다가 60번대 차원에서는 거의 한 가지 색의 가로줄이 된다.

Sutskever 30 - Complete Implementation Suite

Paul Pajo가 2025년 12월 공개한 GitHub 저장소로, 일리야 수츠케버의 추천 읽기 목록에 실린 논문 30편을 NumPy만 쓰는 주피터 노트북으로 구현했다. 노트북 다섯 개를 직접 실행해 보니 문자 RNN은 가중치를 갱신하며 학습했다. 반면 다중 토큰 예측 노트북은 가중치를 한 번도 갱신하지 않았다. 스케일링 법칙과 Lost in the Middle 노트북은 논문이 보고한 결과가 나오도록 수식을 미리 작성하고 그 곡선을 그렸다.

ANVIL II와 89번 기록의 검증 손실 곡선을 시간 축으로 비교한 원문 그래프. 세로축은 검증 손실로 5에서 3.28까지, 가로축은 계측 시간으로 0초에서 80초까지다. 연두색 ANVIL II 곡선은 44초 부근에서 점선으로 표시된 목표 3.28에 도달하고, 분홍색 89번 기록 곡선은 74초 부근에서 도달한다. 처음 8초 무렵까지는 두 곡선이 겹치다가 이후 ANVIL II의 손실이 계속 더 낮다.

Training NanoGPT in 39.9 Seconds

Hyperstition의 Deven Pietrzak가 NanoGPT 스피드런 기록을 73.889초에서 39.914초로 46.0% 줄인 과정을 공개했다. 단축분의 대부분은 어휘 일부만 채점하는 샘플링 소프트맥스, 224배로 확장한 n-gram 표, 새 옵티마이저 ANVIL II에서 나왔다.

회원의 시청 이력과 작품 정보, 접속 맥락을 텍스트로 언어화해 GenRec 모델에 입력하고, vLLM의 프리필 전용 추론으로 카탈로그 전체의 추천 순위를 계산하는 파이프라인 도식

GenRec: An LLM-Backed Recommendation Ranker at Netflix

넷플릭스가 수천 개의 수작업 피처에 기반한 추천 랭커를 대체할 후보로 LLM 기반 랭커 GenRec을 만들고, 기존 랭커와 비교한 결과를 공개했다. GenRec은 시청 이력을 텍스트로 서술해 프리필 한 번으로 카탈로그 전체의 점수를 계산하며, 사후 학습 라벨을 40분의 1만 쓰고도 대규모 A/B 테스트에서 통계적으로 유의한 개선을 얻었다.

팬시 스티커 화풍의 서소영이 작은 탁자 앞에 앉아 민트색 테이프 기계에 구멍 뚫린 프로그램 카드를 넣고 있다. 기계 옆으로 파스텔색 구슬 줄이 흘러나오고, 학생모를 쓴 노란 병아리가 그 구슬을 붙잡고 들여다본다.

Self-Play Pretraining with Zero Data

스탠퍼드대와 텔아비브대 등의 연구진이 자연 데이터를 경사 갱신에 한 번도 쓰지 않고 언어 모델을 사전학습하는 셀프 플레이 방법을 제안했다. 생성자 모델은 만능 튜링 기계용 프로그램을 짜고, 학습자 모델은 그 출력 바이트를 예측한다. 이렇게 학습한 모델의 텍스트, 이미지, 음악 제로샷 손실은 연산량이 늘수록 거듭제곱 법칙에 따라 줄었다.

흑백 여성 얼굴 그림 위에 기울기가 서로 다른 직선 격자 세 개를 겹쳐 그린 구성도. 눈썹, 눈, 코, 입, 얼굴 윤곽이 격자선과 그 교점에 맞춰 그려져 있다

Driven by Compression Progress: A Simple Principle Explains Essential Aspects of Subjective Beauty, Novelty, Surprise, Interestingness, Attention, Curiosity, Creativity, Art, Science, Music, Jokes

위르겐 슈미트후버가 2008년 arXiv에 올린 논문이다. 관찰자가 데이터를 더 잘 압축하게 될 때 그 개선 폭이 보상이 된다는 원리 하나로 아름다움, 흥미, 호기심, 창의성, 과학, 예술, 음악, 농담을 설명한다. 저자는 아름다움을 압축으로 줄어드는 비트 수, 즉 압축 가능성으로 보고, 흥미로움을 그 값이 늘어나는 속도, 즉 학습 곡선의 기울기로 정의한다.