LLM

Emerging Trajectories의 Wojciech Gryc는 Anthropic의 약점이 모델 성능이 아니라 그 성능에 너무 많은 것을 걸고 있다는 데 있다고 진단한다. Kimi K3·Qwen 3.8·GLM 5.2가 그 위험을 드러냈다는 관점의 다이제스트.

앞으로 에이전트는 생각을 굳이 말로 하지 않아도 될 수 있다. LOTUS 논문은 언어 모델의 추론을 사람이 읽는 문장이 아니라 모델 내부의 계산 상태에서 진행하는 방향이, 3B 규모에서 실제로 통한다는 첫 증거를 제시한다. Chain-of-Thought가 사라지는 미래가 성능·효율의 필연으로 다가온다.

LLM으로 코드를 짜는 일은 생산성을 끌어올리는 동시에 개발자를 소진시킨다. Pydantic의 Laura Summers가 ‘감독의 피로’와 ‘인간 보상 함수 문제’를 이름 붙이고, 병목은 처음부터 코드가 아니라 인간의 주의력이었다고 진단한다.

질문 뒤에 점(…..)을 수백 개 찍어주면 최첨단 LLM이 더 똑똑해진다. 출력에는 아무 단서도 없는 이 ‘숨은 계산’을, 저자들은 residual stream을 열어 라벨도 학습도 없이 80~95% 정확도로 읽어냈다. 불투명하다고 감사 불가능한 것은 아니다.

「그 자리에서 손을 흔든다」 같은 텍스트를 넣으면 AI가 VRM 캐릭터의 모션을 만들어 브라우저 안에서 재생하고 .vrma 파일로 저장하는 웹앱. 개발자가 내세운 「낮은 VRAM으로도 돌아간다」는 주장을 코드에서 확인해 보니, VRAM 병목이 어디였는지 정확히 짚어 그 한 덩어리만 CPU로 옮긴 결과였다.

AirLLM은 트랜스포머 레이어를 한 장씩만 GPU에 올리는 방식으로 671B 모델을 12GB 카드에 얹는다. 필요 VRAM을 총 파라미터가 아니라 레이어 크기로 바꾸는 영리한 트릭이지만, 그 대가로 토큰마다 모델 전체를 디스크에서 다시 읽는다.

Thinking Machines Lab이 처음부터 학습한 첫 오픈웨이트 모델 Inkling을 공개했다. 975B 파라미터(41B 활성)의 MoE 멀티모달 모델로, 최강 성능보다 파인튜닝하기 좋은 베이스라는 자리를 노린다.

Google Research와 Cornell 연구진이 LLM의 생애를 학습·추론이 아니라 각성·수면으로 나눈다. 수면 중에는 빠르고 불안정한 기억을 느리고 안정적인 파라미터로 상향 증류하고, 합성 데이터를 꿈처럼 만들어 새 지식을 연습한다. 지속 학습·장문 이해·지식 편입·추상 추론에서 성능이 올랐지만, 추가 연산과 사전 할당 용량, 과제별 보상 신호가 필요한 개념 증명 단계다.

라우팅·다수결·캐스케이드·MoA 등 어떤 LLM 오케스트레이션도 β(모든 모델이 같은 질의에서 함께 실패하는 비율)로 상한이 정해진다. 관행적으로 보고되는 pairwise error correlation ρ는 β를 원리적으로 볼 수 없다. 67개 프론티어 모델·21개 프로바이더에서 tetrachoric 단일요인 모델도 실측 β를 2.5배 과소예측했고, 같은 GPQA 문항을 free-response로 재출제하면 β=0이 0.127로 열린다.

OpenAI가 GPT-5.6 패밀리(Sol, Terra, Luna)를 정식 출시했다. 토큰당 유효 작업량이라는 효율 지표를 전면에 세우고, 코딩과 지식 노동, 사이버보안, 과학에서 다수의 최고 기록과 함께 병렬 멀티에이전트 설정 ultra, 강화된 안전 체계를 공개했다.