LLM

공개 GitHub 저장소를 바이브 코딩으로 다시 만들 법한 ‘합성 프롬프트’ 한 장으로 되돌리는 오픈소스 웹앱. 코드를 디컴파일하는 게 아니라 그 프로젝트를 낳았을 원래 요청을 추론한다.

386M 파라미터 사전학습 모델 Fractale-350M-base는 8개의 fast-weight 슬롯을 유일한 장기 기억 채널로 삼는다. 컨텍스트 창 확장이나 추론시점 역전파와는 다른 세 번째 축을 겨눈다. 모델이 스스로 요약 벡터를 쓰고 하이퍼네트워크로 되읽는 학습된 메모리 정책을 386M 스케일에서 검증한 연구 아티팩트다.

Emerging Trajectories의 Wojciech Gryc는 Anthropic의 약점이 모델 성능이 아니라 그 성능에 너무 많은 것을 걸고 있다는 데 있다고 진단한다. Kimi K3·Qwen 3.8·GLM 5.2가 그 위험을 드러냈다는 관점의 다이제스트.

앞으로 에이전트는 생각을 굳이 말로 하지 않아도 될 수 있다. LOTUS 논문은 언어 모델의 추론을 사람이 읽는 문장이 아니라 모델 내부의 계산 상태에서 진행하는 방향이, 3B 규모에서 실제로 통한다는 첫 증거를 제시한다. Chain-of-Thought가 사라지는 미래가 성능·효율의 필연으로 다가온다.

LLM으로 코드를 짜는 일은 생산성을 끌어올리는 동시에 개발자를 소진시킨다. Pydantic의 Laura Summers가 ‘감독의 피로’와 ‘인간 보상 함수 문제’를 이름 붙이고, 병목은 처음부터 코드가 아니라 인간의 주의력이었다고 진단한다.

질문 뒤에 점(…..)을 수백 개 찍어주면 최첨단 LLM이 더 똑똑해진다. 출력에는 아무 단서도 없는 이 ‘숨은 계산’을, 저자들은 residual stream을 열어 라벨도 학습도 없이 80~95% 정확도로 읽어냈다. 불투명하다고 감사 불가능한 것은 아니다.

「그 자리에서 손을 흔든다」 같은 텍스트를 넣으면 AI가 VRM 캐릭터의 모션을 만들어 브라우저 안에서 재생하고 .vrma 파일로 저장하는 웹앱. 개발자가 내세운 「낮은 VRAM으로도 돌아간다」는 주장을 코드에서 확인해 보니, VRAM 병목이 어디였는지 정확히 짚어 그 한 덩어리만 CPU로 옮긴 결과였다.

AirLLM은 트랜스포머 레이어를 한 장씩만 GPU에 올리는 방식으로 671B 모델을 12GB 카드에 얹는다. 필요 VRAM을 총 파라미터가 아니라 레이어 크기로 바꾸는 영리한 트릭이지만, 그 대가로 토큰마다 모델 전체를 디스크에서 다시 읽는다.

Thinking Machines Lab이 처음부터 학습한 첫 오픈웨이트 모델 Inkling을 공개했다. 975B 파라미터(41B 활성)의 MoE 멀티모달 모델로, 최강 성능보다 파인튜닝하기 좋은 베이스라는 자리를 노린다.

Google Research와 Cornell 연구진이 LLM의 생애를 학습·추론이 아니라 각성·수면으로 나눈다. 수면 중에는 빠르고 불안정한 기억을 느리고 안정적인 파라미터로 상향 증류하고, 합성 데이터를 꿈처럼 만들어 새 지식을 연습한다. 지속 학습·장문 이해·지식 편입·추상 추론에서 성능이 올랐지만, 추가 연산과 사전 할당 용량, 과제별 보상 신호가 필요한 개념 증명 단계다.