잠재 추론

스도쿠를 푸는 추론 모델의 수렴 시간 지도를 단계적으로 확대한 여러 장의 패널. 확대할수록 같은 모양의 소용돌이 무늬가 계속 나타난다

Fractal basins trap latent reasoning

루프형 추론 모델의 초기 잠재 상태를 조금씩 옮겨 가며 수렴까지 걸린 루프 수를 지도로 칠하면, 어려운 문제일수록 그 지도가 프랙탈이 된다. 텍사스 오스틴 대학 연구진은 그 원인을 안장점 산란이 만드는 과도적 카오스로 설명하고, 추론이 느려지는 것이 문제 난이도에서 나오는 필연이라고 결론지었다.

Figure 1 — LOTUS는 백본이 커져도 명시적 CoT의 정확도 상한을 따라간다

Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers

앞으로 에이전트는 생각을 굳이 말로 하지 않아도 될 수 있다. LOTUS 논문은 언어 모델의 추론을 사람이 읽는 문장이 아니라 모델 내부의 계산 상태에서 진행하는 방향이, 3B 규모에서 실제로 통한다는 첫 증거를 제시한다. Chain-of-Thought가 사라지는 미래가 성능·효율의 필연으로 다가온다.