Fractal basins trap latent reasoning

3줄 요약

1. 텍사스 오스틴 대학 연구진이 2026년 9월 4일 arXiv에 공개한 논문이다. 추론 모델이 어려운 문제를 만나면 유난히 오래 생각하는 현상을 두고, 그 원인을 동역학계 이론으로 설명한다.
2. 잠재 공간에서 반복 연산으로 답을 찾는 루프형 모델이 있다. 저자들은 그 초기 상태를 조금씩 옮겨 가며 수렴까지 걸린 루프 수를 지도로 칠했다. 문제가 어려울수록 그 지도는 자기 닮음 프랙탈이 됐고, 초기값을 아주 조금만 바꿔도 수렴 시간이 몇 자릿수씩 달라졌다.
3. 원인은 과도적 카오스였다. 궤적이 안장점 근처에 오랫동안 붙들리는데, 그 안장점의 잠재 상태를 디코딩해 보면 거의 맞지만 틀린 답이 나온다. 미로에서는 막다른 길이고 스도쿠에서는 숫자가 겹친 격자다. 저자들은 추론이 느려지는 것이 문제의 어려움에서 나오는 필연이라고 결론지었다.

초기값을 조금씩 옮겨 본다

요즘의 추론 모델은 상당수가 과제를 최적화 문제로 표현한다. 문제 서술과 학습된 가중치가 함께 하나의 동역학계를 정의하고, 정답은 그 계의 안정된 고정점이 된다. 중간 결과를 글로 내놓는 사고 사슬 모델도 있고, 문제와 부분 해를 은닉 상태에 담아 두는 잠재형 모델도 있다. 이 논문이 실제로 실험한 대상은 뒤쪽, 그러니까 잠재 상태를 반복해서 갱신하는 루프형 모델이다.

이런 모델은 잠재 상태의 초기값을 대개 무작위 벡터로 잡는다. 저자들은 여기에서 실마리를 찾았다. 모델과 문제를 고정해 두고 초기 잠재 상태만 연속적으로 바꿔 가면서, 각 초기값이 답에 도달하기까지 몇 번의 루프를 도는지 세어 보면 된다.

절차는 이렇다. 전체 잠재 공간에서 무작위 가우시안 행렬을 QR 분해한 뒤, 서로 직교하는 두 방향을 뽑는다. 스도쿠에서는 97개 토큰과 은닉 차원 512를 곱한 공간이다. 기준점에서 그 두 방향을 따라 200 곱하기 200개 점으로 된 격자를 만들고, 각 점을 초기값으로 삼아 모델을 돌린다. 디코딩된 답이 더 이상 바뀌지 않을 때까지 걸린 루프 수가 그 점의 수렴 시간이다. 이 값을 색으로 칠한 것이 분지 지도다.

쉬운 문제에서는 지도가 매끈하게 나왔다. 어려운 스도쿠에서는 확대해도 같은 모양이 반복되는 프랙탈이 나왔다. 초기값에 아주 작은 변화를 주는 것만으로 수렴 시간이 몇 자릿수씩 뛰어오른다.

이산 퍼즐을 푸는 모델인데도 분지의 생김새는 매끄럽고 자연물을 닮았다. 저자들은 광학 커스틱이나 난류에서 관측되는 과도 수명 분포와 비슷하다고 적었다. 둘 다 물리계가 고정점에 이르기까지 거치는 경로 길이가 지점마다 달라서 생기는 무늬다.

연속 동역학으로 이산 최적화를 표현하면 프랙탈이 나타난다는 관찰 자체는 예전에도 있었다. 서열 정렬, 외판원 경로 찾기, 스핀 글라스 바닥 상태 추정 같은 사례가 그렇다. 특히 불리언 만족성 문제를 연속 시간 동역학계로 푸는 선행 연구는 제약이 늘어날수록 프랙탈 분지가 생긴다는 것을 이미 유도해 놓았다. 이 논문이 새로 보인 것은, 특정 과제를 겨냥해 사람이 설계한 풀이기가 없어도 학습된 추론 모델이 어려운 문제를 만나기만 하면 같은 일이 벌어진다는 점이다.

네 가지 모델, 네 가지 과제

한 모델과 한 과제에서만 나오는 현상이라면 그 구현의 특성으로 볼 수도 있다. 그래서 저자들은 서로 다른 네 구조를 네 과제에 적용했다.

프랙탈 정도는 분지 엔트로피로 잰다. 2016년에 도입된 지표인데, 자기 닮음 프랙탈 분지와 무작위 분지, 매끈한 분지를 서로 갈라낼 수 있다. 계산 방법은 단순하다. 슬라이스를 겹치지 않는 상자들로 나누고, 각 상자에 들어 있는 수렴 시간 값으로 섀넌 엔트로피를 구한 뒤, 그 값을 모든 상자에 걸쳐 평균한다.

네 조합 모두에서, 슬라이스의 평균 수렴 반복 횟수와 분지 엔트로피가 강하게 상관했다. 평균 반복 횟수는 그 문제가 얼마나 어려운지를 나타내는 값이므로, 문제가 어려워질수록 분지도 프랙탈에 가까워진다고 읽을 수 있다.

표본을 고르는 기준도 명시해 두었다. 초기 조건 가운데 최종 해에 도달한 비율이 90퍼센트에 못 미친 슬라이스는 뺐다. 모델이 여러 답 사이를 오가거나 일관되게 풀어내지 못한 경우다. 픽셀의 1퍼센트를 넘는 지점이 루프 상한에 걸린 슬라이스도 뺐다. 수렴까지 시뮬레이션하는 것이 계산상 불가능한 경우다. 이렇게 걸러도 모델과 과제 쌍마다 유효 슬라이스가 300장 이상 남았다. 경계 분지 엔트로피와 불확실성 지수라는 다른 두 지표로 다시 계산해도 같은 경향이 나왔다.

궤적이 흩어지는 이유

어려운 문제를 제대로 푼다면 모든 궤적은 끝내 하나의 고정점에 모여야 한다. 지속적인 카오스는 일어나지 않아야 한다. 그런데 평형에 도달하는 경로까지 같아야 할 이유는 없다.

위상 공간 곳곳에는 약하게 불안정한 해, 그러니까 안장점이 흩어져 있다. 궤적이 그 근처를 지나면 한동안 방향을 틀어 머물다가 다시 빠져나온다. 저자들은 이 상황을 플린코 판에 비유했다. 처음에 바짝 붙어 출발한 두 공도 못에 부딪히며 서로 벌어진다. 가까이 놓인 두 초기 조건도 안장 집합에서 산란돼, 전혀 다른 경로로 평형에 이른다. 이 뒤섞임이 분지의 복잡한 무늬를 만든다.

궤적의 모양을 직접 확인하려고 저자들은 잠재 상태의 시계열 전체를 주성분 분석으로 저차원에 투영했다. 빨리 수렴하는 궤적은 정답 쪽으로 곧장 나아갔다. 느린 궤적은 길고 구불구불한 길을 돌면서 안장점을 들렀다가 정답에 도착했다.

그 우회하는 궤적의 잠재 상태를 문제 공간으로 디코딩해 보면, 추론이 붙들려 있는 지점이 무엇인지 보인다. 거의 맞지만 조금씩 틀린 답이었다. 미로에서는 막다른 길이었고, 스도쿠에서는 같은 숫자가 반복해서 들어간 격자였다. 동역학계가 안장 근처에 머무는 시간은 거기서 빠져나갈 수 있는 방향이 몇 개인지에 달려 있다. 경사 하강 계열이라면 내리막 방향의 개수에 해당한다.

안장점이 담고 있는 것

안장 집합을 직접 재기 위해 저자들이 가져온 도구는 고속 랴푸노프 지표다. 이 지표는 원래 소행성 궤도의 안정성을 재려고 1997년에 개발됐다. 계산은 매 루프마다 이뤄진다. 각 픽셀의 디코딩 상태를 처음에는 이웃이었던 픽셀들의 상태와 비교한다. 이어 국소 편차의 최대 유클리드 노름을 취한다. 값이 크다면 그 초기값의 궤적이 이웃과 한껏 벌어졌다가 끝내 같은 해로 되돌아왔다는 말이고, 두 궤적이 안장을 사이에 두고 양쪽으로 갈라섰다는 신호가 된다.

퍼즐 하나를 놓고 이 값을 그리면 서로 다른 풀이 경로 사이의 경계선이 드러난다. 알고리즘 관점에서 보자면 가장 불확실한 갈림길이다. 여러 퍼즐에 걸쳐 계산했을 때는 더 흥미로운 관계가 나왔다. 세 모델 모두에서 고속 랴푸노프 지표는 그 궤적이 수렴하기 전에 거친 서로 다른 후보 답의 수와 강하게 상관했다. 후보 전환 빈도는 매 시점의 잠재 상태를 답으로 디코딩해서, 답이 바뀐 횟수를 수렴까지의 전체 반복 수로 나눠 측정한다. 안장점이 문제 자체의 해 구조를 담고 있다고 저자들은 해석했다.

안장이 왜 생기는지에 대해서도 저자들은 설명을 덧붙였다. 고차원 동역학계의 복잡한 상이 단안정 상으로 바뀔 때, 국소 최소점들이 사라지고 하나의 안정 평형과 다수의 약하게 불안정한 안장만 남는다. 추론 과제에서 이 전이는 해가 여럿이던 문제에 제약이 하나 더해져 해가 줄어들 때 일어난다. 두 갈래 길이 있던 미로에 벽이 하나 더 생겨 한쪽이 막히는 경우다.

사라진 옛 해가 계산에서 완전히 지워지는 것은 아니다. 풀이는 옛 경로를 끝까지 따라갔다가 막힌 곳에서 되돌아와야 하고, 그만큼 수렴 시간이 늘어난다. 제약 충족 문제가 바로 이 제약도 전이(constrainedness transition) 부근에서 가장 어렵다는 것은 오래전부터 알려진 관찰이다. 문제는 여전히 풀리지만 정답에 이르는 서로 다른 경로가 몇 개 남지 않아서, 필요한 시행착오가 늘어난다. 안장은 그 막다른 경로들을 동역학계 안에 기록해 둔 흔적이다.

학습 도중에 일어난 일

프랙탈 분지가 언제 생기는지 보려고, 저자들은 작은 추론 모델을 하나 직접 학습시켰다. 과제는 유한체 위에서 정수 선형계를 푸는 일이다. 소수인 3을 쓰고, 방정식과 미지수는 각각 8개로 잡았다. 후보 해는 3의 8제곱, 6561가지다. 보통의 이산 알고리즘은 제약을 어기는 지점이 나올 때까지 정수 조합을 차례로 시험한다. 여기에 인코더 전용 루프 트랜스포머를 붙여 무작위 인스턴스로 학습시키고, 학습 단계마다 새로 뽑은 문제에서 추론 동역학을 분석했다.

학습 초반의 분지 풍경은 무작위 동역학계를 닮아 있었다. 여러 개의 안정된 고정점이 저마다 분지를 거느리고 있고, 그 대부분은 오답이었다. 이 구간의 수렴 시간 지도에는 프랙탈이 없었다.

학습이 15만 스텝 부근에 이르자 분기가 일어났다. 동역학계에서 분기를 일으키는 제어 파라미터 자리에, 여기서는 모델의 가중치가 들어가 있었다. 오답에 해당하던 고정점들이 안정성을 잃고 안장으로 바뀌었고, 추론 궤적이 정답 고정점으로 모이기 시작했다. 잠재 공간 투영으로 보면, 가장 가까운 오답으로 매끄럽게 미끄러져 들어가던 궤적이 안장점 근처를 지나는 우회 경로로 바뀌었다.

같은 지점에서 정답률과 분지 엔트로피가 함께 급등했고, 야코비안의 불안정 고유값 개수로 잰 탈출 방향도 새로 나타났다. 오답 근처의 국소 최소점이 안정성을 잃었다는 증거다. 안장이 된 뒤에도 그 지점들은 궤적을 약하게 끌어당기기 때문에, 수렴 시간 지도에는 예전 오답 분지와 비슷하게 생긴 무늬가 남는다.

유한 시간 랴푸노프 지수를 계산해 보면 같은 그림이 다시 나온다. 분기 이전에는 모든 지수가 음수여서 과도적 카오스가 일어나지 않는다. 궤적은 가까운 오답으로 매끄럽게 다가갈 뿐이다. 분기 이후 불안정한 방향이 생기면서 안장 산란에 의한 과도적 카오스가 등장한다.

이어지는 분석에서 저자들은 문제의 변수들을 두 부류로 갈랐다. 직접 대입만으로 풀리는 단순 변수와, 여러 단계의 가우스 소거를 거쳐야 풀리는 코어 변수다. 제약 충족 문제에서 제약 전파로 해결되는 잎 변수와 그 뒤에 남는 코어를 나누는 방식과 같다. 양의 유한 시간 랴푸노프 지수는 코어 변수에서만 나왔다. 학습 중에 일어나는 이 분기가 곧 모델이 다단계 추론 능력을 얻는 순간이라고 저자들은 정리했다. 그 능력 덕분에 모델은 오답에서 빠져나올 수 있게 되고, 대신 과도적 카오스와 프랙탈 분지를 함께 얻는다.

확대해 보면

부록에서 저자들은 초기 조건 공간의 한 영역을 계속 확대하면서 수렴 시간과 고속 랴푸노프 지표를 다시 그렸다. 척도에 따라 프랙탈성이 어떻게 변하는지 재려고 불확실성 지수를 사용했다. 반지름이 정해진 공 안에서 결과가 갈리는 비율을 재는 값이다. 반지름을 바꿔 가며 그 비율이 어떻게 움직이는지 보는데, 참된 프랙탈이라면 고정된 거듭제곱 관계가 유지되어야 한다.

어떤 추론 모델은 실제로 참된 프랙탈을 만들어서, 확대해도 복잡도가 비슷하게 유지됐다. 다른 모델은 최근에 정의된 슬림 프랙탈에 해당했다. 해상도를 올릴수록 프랙탈 차원이 줄어드는 종류다. 척도에 따라 성질이 달라지고, 실제 분지 경계의 여차원은 1이다. 슬림 프랙탈은 소산이 있는 물리계에서 잘 나타난다. 마찰이 없는 이중 진자는 지속적인 카오스 끌개를 갖지만, 마찰을 넣으면 에너지가 빠져나가고 장기적으로 남는 끌개는 정지 상태 하나뿐이다. 매 순간 안장에 해당하는 집합이 존재하지만, 그 집합은 시간이 지나면서 사그라든다. 이런 것을 이중 과도 카오스라고 부른다.

저자들은 추론 모델이 하나의 답으로 수렴하려는 성질 자체를 일종의 소산으로 보았고, 그래서 대부분의 추론 모델이 어떤 형태로든 이중 과도 카오스를 보일 것이라고 내다봤다.

가장 흥미로운 지점

학습 중 분기를 다룬 그림에서, 정답률이 오르는 순간과 분지 엔트로피가 오르는 순간은 같은 지점이었다. 나는 그 겹침이 우연으로 보이지 않았다. 모델이 오답의 인력에서 벗어날 힘을 얻은 그 사건이, 동시에 모델을 오답 근처에서 배회하게 만든 원인이었다. 능력과 지연이 별개의 두 문제였던 것은 아니었다. 하나의 분기가 두 결과를 한꺼번에 낳았다. 그렇다면 과잉 사고를 공학적 결함으로만 다루려던 시도들이 왜 잘 듣지 않았는지도 짐작이 간다.

논문이 인용한 선행 연구 하나는 이 구조를 노린 공격을 보고한다. 거의 똑같아 보이는 두 프롬프트 가운데 한쪽만 10배 많은 연산을 소모하게 해서, 프런티어 추론 모델에 서비스 거부 공격을 걸 수 있다고 한다. 프랙탈 분지 위에서는 아주 가까운 두 초기 조건의 수렴 시간이 몇 자릿수씩 벌어진다. 그 경계선 위에 입력을 올려놓는 일이 곧 공격이 된다.

물론 이 논문이 분석 도구를 적용할 수 있었던 대상은 매 루프마다 잠재 상태와 디코딩 출력을 읽어 낼 수 있는 재귀형 모델뿐이었다. 우리가 매일 쓰는 사고 사슬 언어 모델을 직접 측정한 결과는 여기에 들어 있지 않다. 저자들은 네 가지 구조와 네 가지 과제로 범위를 넓혔다. 그 간극을 메우려는 시도로 보이지만, 결론을 그대로 옮겨 붙이기 전에 한 번은 멈춰서 따져 봐야 한다.

출처

Jeffrey Lai, Anthony Bao, John Quinn, William Gilpin (텍사스 오스틴 대학 오든 연구소, 전기공학과, 물리학과), “Fractal basins trap latent reasoning”, arXiv:2609.04963, 2026년 9월 4일 공개.

원문: https://arxiv.org/abs/2609.04963 분지 탐침 코드: https://github.com/GilpinLab/loopscape

본문의 그림은 모두 논문 원문에서 인용했다.