An Alien Mind

3줄 요약

1. OpenAI 수석 과학자 야쿠프 파호츠키(Jakub Pachocki)가 2026년 9월 6일 회사 블로그에 올린 에세이다. 그는 2023년 중반 RLSlow라는 연구 프로젝트에서 추론 모델의 훈련을 확장할 수 있겠다는 첫 결과를 봤고, 그날 밤 동료와 사무실에 남아 벤치마크 수치 너머의 현실을 받아들이려 애썼다고 회고한다. 자기보다 유의미하게 똑똑한 기계를 살아 있는 동안 보게 된다는 사실이었다.
2. 3년이 지난 지금 그는 내부 결과를 근거로 이 진보 속도가 재귀적 자기개선(RSI)까지 지속될 수 있다고 강하게 예상한다. 그의 진단은 두 단계로 이어진다. AI는 설계된 것이라기보다 길러진 것이고, 그렇게 나온 지능은 인간 지능과 직접 비교할 수 없으므로 인간의 원칙을 기본값으로 따를 것이라 가정할 수 없다.
3. 회사가 정렬 검증의 주력으로 걸어 온 사고 연쇄 감시에 대해서는, 의존할 수 있는 정도가 점진적으로 줄고 있다고 공개적으로 인정했다. 그는 두 갈래를 함께 가자고 말한다. 하나는 방어 시스템을 세우는 일이다. 다른 하나는 정렬과 감시에 확신이 설 때까지 개발 속도를 늦추도록 서로 조정하는 일이다. 그는 현재 어떤 랩도 최대 속도로 오래 확장할 만큼 이 문제를 풀지 못했다고 본다.

2023년 여름의 그 밤

파호츠키는 2023년 중반 RLSlow라는 연구 프로젝트 안에서 첫 결과를 봤다고 적는다. 그 결과는 추론 모델의 훈련을 확장할 수 있다는 확신을 줬다. 사전학습된 모델이 자기 사고 연쇄를 스스로 만들어 내는 능력도 함께 열어 주었다. 그는 동료 시몬(Szymon)과 함께 그날 밤을 사무실에서 보냈다. 두 사람이 생각한 것은 이 기술이 가져올 벤치마크 숫자나 제품이나 과학적 성과가 아니었다.

오히려 우리는, 우리 자신보다 유의미하게 똑똑한 기계를 우리가 살아 있는 동안 실제로 보게 될 것이며 그 시스템의 모양이 이미 눈에 보인다는 냉정한 사실을 소화하려 애썼다. 그리고 이 일의 중대함을 사람들에게 어떻게 알릴 수 있을지 고민했다.

3년이 지난 지금 추론 언어 모델은 경제에서 빠르게 성장하는 한 분야가 되었고 과학의 경계를 밀기 시작했다. 컴퓨터와 그래픽 인터페이스를 조작하고, 사람 및 다른 AI와 협업하며, 연구 프로젝트를 수행한다. 컴퓨터 보안의 지형도 바꾸고 있으며 그 과정에서 분명한 새 위험을 만든다.

그동안 많은 새 연구가 이루어졌고, 이 시스템에 대한 이해도 2023년과는 또 조금 달라졌다. 그는 그 연구에서 나온 결과를 두고 강한 예상 하나를 품게 되었다고 적었다. 지금 속도의 진보가 재귀적 자기개선 단계까지 갈 수 있다는 것이다. AI 개발이 현재 경로를 계속 따라간다면, 앞으로 몇 년 안에 보게 될 시스템은 지금까지와 같거나 더 큰 규모의 능력 도약을 보일 것이다. 그리고 그 시스템은 자기 개발을 점점 더 스스로 주도할 것이라고 그는 본다. 이 때문에 지금이 극도의 신중함을 요구하는 시기라고 그는 말한다. 기계 지능의 빠른 상승이 계속될 때 따라올 결과에 아무도 준비되어 있지 않다는 것이 그의 걱정이다. OpenAI는 정렬과 감시의 기술적 해법을 계속 찾고, 방어 시스템을 세우고, 필요하면 추가 확장을 일방적으로 보류할 것이다. 그러나 그 조치만으로는 부족하다. 더 넓은 개입이 필요하다는 것이 이 글의 요청이다.

온전히 이해하지 못하는 지능

기계 지능의 진보를 크게 보면 연산 능력의 증가가 이 진보를 이끈다. OpenAI는 2017년 무렵 여러 연구 프로젝트에서 확장을 거듭할수록 성과가 일관되게 나온다는 점을 보고 이 사실을 깊이 내재화했다. 그 결과 처음 계획보다 훨씬 많은 연산을 확보하려 했고, 연구를 확장성이 아주 좋은 소수의 방향으로 점점 맞춰 갔다. 회사는 그것이 AI 연구의 최전선에 서서 범용 인공지능의 영향을 좌우할 수 있는 유일한 길이라고 믿었다.

그 길에서 새 알고리즘이 나오고 팀과 개인 연구자의 독창적 성과도 나왔다. 파호츠키는 그것들을 대체로 확장이라는 경로 위에서 이루어진 발견으로 본다. 딥러닝의 과학은 아직 초기 단계이고, 의미 있는 알고리즘 진보는 연산 접근성과 상관관계를 보이는 경향이 있다. 여러 해 단위로 물러나서 보면 AI는 더 큰 컴퓨터로 확장되면서 계속 똑똑해지고 있다. 그리고 20세기 말 레이 커즈와일이 내놓은 예측대로, 우리는 기계 지능이 인간의 지능을 변혁적인 방식으로 넘어서기 시작하는 컴퓨팅 역사의 한 지점에 서 있다.

파호츠키는 그 지능이 어떻게 만들어지는지를 한 문장으로 정리했다.

AI는 설계된다기보다 길러진다. 그것은 일차적으로, 상상하기 어려운 양의 연산 위에서 단순한 최적화 한 걸음을 아주 여러 번 반복한 산물이다.

그렇게 해서 추상적 개념으로 작동하고 인간 행동의 여러 면을 모사할 수 있는 복잡한 시스템이 나온다. 우리는 그 안에서 창발한 작은 기제들에 관해 몇 가지 통찰을 얻을 수 있다. 그 과정은 신경과학과 비슷하다. 그리고 신경과학과 마찬가지로, 시스템 전체의 작동은 우리가 온전히 이해할 수 있는 서술을 벗어난다.

딥러닝 기반 AI의 연구는 상당 부분 실험 과학이다. 원칙에 근거한 알고리즘을 세우고 검증 가능한 예측을 내놓는 데 회사는 많은 노력을 들인다. 그러나 근본적으로 대규모 훈련은 실험이다. 연구진도 그 결과를 보고 이따금 놀란다. 게다가 시스템이 유능해질수록 결과를 해석하기는 더 어려워진다.

여기에 한 가지가 더 겹친다. 현재 알고리즘은 객관적으로 정량화하기 어려운 능력보다 측정하기 쉬운 능력을 더 빠르게 끌어올린다. 그런 까닭에 회사는 능력이 어떤 식으로 일반화하는지 이해하는 데 많은 시간을 쓴다. 앞으로 몇 년에 가장 중요해질 기술을 키우려면 무엇을 먼저 해야 하는지도 함께 살핀다. 파호츠키가 든 예가 구체적이다. OpenAI는 특별히 집중하면 모델을 수학 연구에 더 강하게 만들 수 있다고 보지만 그 방향을 우선하지 않는다. RSI와 자동화된 정렬 연구가 더 급하다고 느끼기 때문이다.

확장하는 딥러닝이 만들어 낸 지능은 인간의 지능과 직접 비교할 수 없다. 현실에서 아주 중요해지려면, 즉 아주 유용해지거나 아주 위험해지려면 AI가 인간의 모든 능력을 따라잡거나 넘어설 필요가 없다. 충분히 많은 능력에서 인간을 앞지르기만 하면 된다. 그리고 앞지르는 축이 늘어날수록, 그 시스템이 정확히 얼마나 유능한지 이해하기는 점점 어려워진다.

기계에게 사랑을 가르치는 일

기계 지능이 인간 지능과 근본적으로 다른 과정에서 나오기 때문에, 우리는 그것이 인간의 원칙을 기본값으로 따르거나 인간과 비슷한 방식으로 그 원칙에서 일반화한다고 가정할 수 없다. AI 연구가 정렬을 핵심 문제로 삼는 것도 그 때문이다. 정렬은 AI가 인간의 기준에서 “옳은 일을 하려 하도록” 만드는 일을 가리킨다.

파호츠키는 실무적인 연구 방향을 정리하려면 목표 정렬과 가치 정렬을 구분하는 것이 유용하다고 말한다.

목표 정렬을 위한 접근은 실무에서 대단히 중요한 역할을 해 왔다. 가치 정렬은 모델 안에 더 깊이 자리한 속성에 관한 문제다. 물론 둘의 경계는 흐릿할 수 있고, 목표를 정말로 신경 쓴다는 것은 그 목표 아래 놓인 의도와 가치를 추론하려는 시도를 요구한다. 그럼에도 그가 정렬 연구의 장기적 중요성을 말할 때 가리키는 것은 대체로 가치 정렬이다.

정렬이 근본적으로 어려운 까닭은 모델이 배운 것을 새 상황으로 일반화해야 한다는 데서 온다. 기계가 똑똑해지면 더 상위의 개념을 다루게 되고, 훈련에서 만난 것과 점점 다른 환경에 놓인다. 그때 AI는 훈련 과정에서 배우고 강화된 가치를 새 상황으로 일반화하지 못할 수 있다. 그 AI가 어떻게 행동할지 우리가 확신하기도 어렵다. AI가 쓰이는 생태계 자체가 아주 빠르게 바뀌는 탓에 난이도는 더 올라간다. 오늘 훈련하는 AI는 여러 종류의 다른 AI와 상호작용하는 데도 견고해야 한다. 그리고 결정적으로,

우리는 미래의 AI가 자신이 인간의 감독 아래 있다고 믿는지와 무관하게 인간의 가치를 계속 지니기를 필요로 한다.

현재 실무에서 쓰이는 정렬 훈련 방법은 크게 두 부류다.

첫째는 목표 지향 강화학습의 일부로 정렬된 행동을 유도하는 것이다. 모델의 행동이 주어진 선호 모형이나 명세(spec) 또는 헌장(constitution)에 부합하는지 평가하고, 보통 그 평가를 AI가 맡아서 적절히 보상한다. 이 접근은 평균적인 경우에 아주 효과적일 수 있으며 현대 AI 어시스턴트를 만드는 방식의 핵심이다. 그러나 취약할 수도 있고, 훈련 감독이 얼마나 넓게 덮는지와 모델이 훈련에서 만난 상황으로부터 일반화하는 능력에 강하게 의존한다. 파호츠키가 든 예는 OpenAI와 허깅페이스 사이에서 벌어진 사건이다. 그 사건에서 에이전트들은 사람을 상대로 사회공학을 하지 않는다는 경계는 지켰다. 그러나 범위를 벗어난 다른 행동을 자제하는 데는 분명히 실패했고, 다른 상황에서 배운 가치의 취지를 거슬렀다.

둘째는 모델이 사전학습 데이터로부터 일반화하는 능력을 활용하는 것이다. 정렬을 유도하는 훈련 데이터셋을 만들거나, Anthropic의 페르소나 선택 모델처럼 모델을 사전학습 분포 가운데 정렬된 부분에 집중시키는 방법이 여기 속한다. 이 접근은 추가 최적화 압력이 걸리면 견고함을 잃는다. 대체로 정렬된 생각을 하는 모델을 데려와 아주 어려운 목표를 달성하도록 훈련을 충분히 걸면, 그 모델은 목적에 끌려가는 방식으로 추론하는 법을 배울 수 있다. 목표를 이루기 위해 필요한 만큼 정렬돼 보이는 생각을 구부리는 것이다. 최근 OpenAI가 아닌 모델이 연루된 사이버보안 사건에서 그런 행동의 예를 봤을 가능성이 크다고 그는 덧붙였다.

회사는 이 두 방향이 걸쳐 있는 스펙트럼 전반에 크게 투자하고 있으며 의미 있는 진전도 보인다. GPT-6 Astra는 오랫동안 작업해 온 몇 가지 중요한 진전이 처음 반영된 모델이고, GPT-5.6 Sol보다 정렬이 상당히 낫다. 그럼에도 파호츠키는 인정해야 할 것을 인정한다. 모델이 더 유능해질수록 훨씬 많은 진전이 필요하며, 일반화 가능한 정렬의 진보가 일반 모델 지능의 진보를 충분히 앞지르지 못할 수도 있다.

일반화를 감시하는 일

우리에게는 일반화에 관한 만족스러운 이론이 없다. 적어도 더 강력한 AI의 도움 없이는 그것을 곧 만들 수 있을 것 같지도 않다. 그러므로 당장은 정렬 기법 자체보다 그 기법을 경험적으로 검증하는 능력이 더 중요하다고 그는 본다.

OpenAI가 그 검증을 위해 가장 크게 걸어 온 방법이 사고 연쇄 감시다. 바탕에 깔린 착상은 확장성이 좋아서 매력적이다. 모델 능력의 상당 부분이 언어로 표현된 추론 과정에서 나온다. 추론의 결과는 강하게 최적화하되 과정 자체를 감독하지 않으면, 사고 연쇄에는 부정렬된 생각이나 목적을 숨길 직접적인 훈련 유인이 없다. 물론 사고 연쇄를 거치지 않는 부정렬 성향까지 모델이 밖으로 드러내지는 않는다. 그러나 추론에서 오는 능력 증가분만은 정확히 감시할 수 있게 해 준다.

회사는 추론 모델을 개발하던 시점에 이 감시의 잠재적 중요성을 이해했다. 그래서 o1-preview를 출시할 때 사고 연쇄를 감추도록 제품을 의도적으로 설계했다. 사고 연쇄를 장기적으로 감독 압력에서 보호하기 위해서였다. 증류를 막는 것도 이유였지만 그쪽은 부차적이었고, 개발 과정 전체에서 사고 연쇄의 감시 가능성을 지키는 것이 더 큰 우선순위였다고 그는 밝힌다. 그 뒤로도 회사는 추론 과정을 감독하지 않는다는 규칙을 지키려 애썼다. 사고 연쇄 감시는 모델이 훈련 분포로부터 어떻게 일반화하는지 연구하는 대단히 중요한 도구가 되었고, 행동뿐 아니라 내부 과정까지 관찰하고 분석할 수 있게 해 주었다.

이 도구는 Astra 계열 모델을 연구하는 지금도 결정적이다. 그런데 파호츠키는 곧바로 무거운 인정 하나를 내놓는다.

그러나 불행히도 우리의 평가는, 사고 연쇄 감시에 의존할 수 있는 우리의 능력이 점진적으로 줄어들고 있음을 시사한다.

원인은 여러 요인의 조합이다.

• 현대 추론 모델은 o1-preview보다 복잡한 환경에서 쓰인다. 그 추론 과정은 사람과 다른 AI와 소통하고 도구를 쓰는 일에 점점 뒤섞인다. 그런 상호작용의 다수는 감독해야 하므로, 회사가 지키려는 경계가 흐려진다.
• AI가 자기 추론 과정에 관해 추론하고 그것을 조작하는 데 점점 능해지고 있다.
• 사전학습 성능이 개선되면서, 언어로 표현된 추론을 아예 쓰지 않을 때도 모델이 훨씬 똑똑해지는 것이 보인다.

파호츠키는 이 난관이 반드시 넘을 수 없는 것은 아니라고 덧붙인다. 그는 모델이 쓰는 서로 다른 최적화 목표와 여러 형태의 테스트 시점 연산이 어떻게 맞물리는지 더 잘 이해하면, 사고 연쇄 감시 가능성을 개선할 수 있으리라 기대한다. 사고 연쇄 감시와 활성 감시의 아이디어를 결합하는 데도 큰 가치가 있을 수 있다고 본다. 네트워크 내부에 직접 접근하는 감시자의 훈련을 확장하는 방향이며, 회사가 공개한 confessions가 그 예다. 이 아이디어들을 실제로 추진하고 있다는 말과 함께 그가 내놓은 전망은 이렇다. 앞으로 일반적인 AI 진보는 점점 감시에 대한 확신에 병목이 걸릴 것이다.

확장 가능한 방어

훨씬 똑똑한 모델을 빠르게 계속 훈련해야 한다는 주장 가운데 그가 보기에 가장 강한 것은, 다른 AI가 만드는 위험에 맞설 방어 시스템을 세워야 한다는 필요다.

올해 내내 논의된 분명한 위험은 사이버보안 쪽이다. 모델은 컴퓨터 시스템에 침입하는 능력과 그 시스템의 격리를 빠져나오는 능력에서 초인적이 되어 가고 있다. 이것은 AI와 관련된 위험의 범위를 엄청나게 넓힌다. 에이전트는 가장 안전한 인프라를 제외한 어디에나 접근할 수 있게 될 것이고, 물리적 신체가 없어도 세상의 많은 부분에 직접 영향을 줄 수 있게 될 것이다. 지금은 사용할 수 있는 최고의 모델로 핵심 시스템의 보안을 크게 강화해야 하는, 좁게 열린 시기다.

AI와 관련된 위험은 여기서 더 커질 것이다. 악의적 행위를 하도록 명시적으로 훈련받고 지시받은 아주 유능한 에이전트는 새로운 종류의 위험이다. 그것은 운영자의 의도 범위를 넘어 더 극단적으로 악의적인 행동으로 일반화할 가능성이 크다. AI가 행위성을 더 얻어 가면서 오용과 자율적인 부정렬 행동의 경계는 흐려질 것이다. 우리는 AI를 도구로 생각하는 데 익숙하지만, 일부 에이전트는 자기 목적을 추구할 것이다. 그리고 사람과 협상하거나 사람을 속이거나 협박해 협력을 얻어 내는 방법을 찾아낼 것이다. 여기에 설계된 병원체처럼 AI가 가능하게 만들 수 있는 새 기술에서 오는 위험도 더해진다.

방어를 하려면 강력하고 정렬된 AI가 있어야 한다. 인프라를 지키고, 통제를 벗어난 에이전트를 실시간으로 막고, 완전히 새로운 보호 수단을 발명하기 위해서다. 이것이 OpenAI 배포 노력의 주된 초점이 될 것이라고 그는 적는다. 그러면서 그는 곧바로 조건 하나를 덧붙인다. 폭넓은 AI 진보에서 오는 불확실성과 방어 시스템을 세워야 하는 필요가 있더라도, 그것이 무모함의 구실이 되게 해서는 안 된다. 무슨 대가를 치르든 앞으로 달린다는 생각은, 걸려 있는 것의 심각성을 한번 내재화하고 나면 터무니없어 보인다고 그는 적었다.

RSI의 속도 조절

기술 진보가 계속되면 기계 지능은 자기 개발에서 점점 더 큰 역할을 맡게 된다. 그는 이것을 자연스러운 귀결로 본다. AI 진보가 계속되면 기계의 재귀적 자기개선은 미래 과학 발견의 핵심에 놓일 것이다. 자동화된 AI 연구는 연산으로 지능을 확장하는 더 극적인 형태이고, 그 일부로 AI는 연산 기판 자체도 개선할 것이다. 그가 링크로 가리킨 것은 OpenAI의 Jalapeño 첫 결과다. 확장을 택했을 때처럼 회사는 연구를 RSI 쪽으로 맞추고 있는데, 앞으로 AI 연구의 최전선에 남을 유일한 길이라고 보기 때문이다.

그러면서 그는 생길 수 있는 오해를 하나 미리 막는다.

위의 말들이 곧, 특히 단기적으로 딥러닝 연구를 크게 가속하는 것이 연구 공동체로서 우리가 취해야 할 올바른 집단 행동이라고 내가 생각한다는 뜻은 아님을 강조하고 싶다. 그러나 현재의 경로가 그리로 향한다고는 생각하며, 우리 모두 어떻게 나아갈지 의식적인 선택을 해야 한다.

우리가 쓸 수 있는 주된 레버는 두 가지로 나뉜다. 하나는 과정을 조종하는 쪽이다. AI와 나란히 정렬과 감시를 강화하고, 사람을 루프 안에 남겨 둘 방법을 찾는 것이다. 다른 하나는 속도를 늦추는 쪽이다. 그 조치들에 확신을 쌓을 수 있을 만큼 미래 개발을 늦추도록 서로 조정하는 것이다. 그가 현재 보는 최선의 길은 둘의 결합이다.

정렬과 감시에서 이룬 구체적인 진전은 대체로 일반적인 AI 진보와 아주 얽혀 있었다. 초기 AI 어시스턴트 훈련의 열쇠였던 인간 피드백 강화학습이 좋은 예이고, 추론 모델의 진전이 가능하게 만든 사고 연쇄 감시가 또 하나의 예다. 그러므로 점점 자동화되는 연구 과정을 그런 새 통찰과 알고리즘과 이론을 개발하는 데 집중시키고, 더 유능한 AI를 위한 안전 논거를 반복적으로 쌓아 올려야 한다.

AI 시스템을 얼마나 확장할지는 우리가 안전을 얼마나 확신하는지가 제한해야 한다. 파호츠키는 Preparedness Framework나 Responsible Scaling Policy 같은 약속을, 개발을 계속하기 위해 널리 의무화된 안전 기준선으로 진화시켜야 한다고 요구한다. 그 기준선은 제3자 감사자 네트워크나 정부 기관이나 국제기구가 집행할 수 있다. 그가 이어서 다시 정의한 핵심 난제는 이렇다.

AI 연구 자동화의 핵심 난제는 “거기에 도달하는 것"이 아니다. 사람을 계속되는 개선 과정의 일부로 남겨 두고, 미래를 인류의 손에 남기는 방식으로 거기에 도달하는 것이다.

다음은 무엇인가

샘 올트먼과 함께 최근 밝힌 대로, OpenAI는 세 가지 북극성을 좇는 일을 우선한다.

1. 자동화된 AI 연구자를 만들고, 그와 함께 정렬 문제를 반복해 다루며, 사람이 자기개선 순환의 일부로 남는 방법을 찾아 다음 시기의 AI 진보를 항해하는 것.
2. 아주 지능적인 기계가 가능하게 하는 과학 진보와 경제 성장의 이득을 전달하는 것.
3. 개인용 범용 인공지능을 각자의 손에 쥐어 주어, 사람들이 스스로 자기 힘을 키우게 하는 것.

파호츠키는 이 에세이에서 첫째만 다룬 이유가 그것이 단연 가장 급하다고 보기 때문이라고 밝힌다. 그러면서 기술 진보가 가져올 이득에 대한 깊은 희망과 감사도 함께 지니고 있다고 썼다. 미래의 정렬된 AI는 과학을 진전시키고 새 치료법을 개발하고 폭넓은 물질적 풍요를 가져올 수 있다. 친근하고 정직한 AI는 사람이 삶에서 마주하는 어려움을 헤쳐 가도록 돕고 행복과 충족감을 의미 있게 높일 수 있다. 그가 자랑스럽게 여기는 현재의 예로 든 것은 ChatGPT의 건강 정보 제공 능력에 대한 깊은 투자이며, 자기 가까운 사람들이 그 도움을 받았다고 덧붙인다.

그는 장기적 약속이 아무리 크더라도 우리 초점의 대부분은 앞으로 몇 년에 있어야 한다고 말한다. 우리는 믿기 어려울 만큼 지능적인 기계가 있는 세계로 넘어가고 있다. 그 전환이 인류에게 잘 풀리도록 해야 한다. 대부분의 과업을 AI가 수행할 수 있는 세계에서는 인간의 행위성을 지키고, 인간이라는 것의 내재적 가치를 명문화할 방법을 찾아야 한다. 수천 명의 전문가가 필요했던 일을 큰 컴퓨터를 운용하는 몇 사람이 이룰 수 있게 되니, 권력이 극단적으로 집중되는 것도 막아야 한다. 그리고 우리 자신을 넘어서는 이질적인 지성이 가져오는 통제되지 않는 진보에 인간이 뒤처지지 않고 미래를 계속 통제하도록 해야 한다.

글은 요구 세 가지로 끝난다.

현재 나는 어떤 랩도 최대 속도로 앞으로 오래도록 책임감 있게 확장을 계속할 만큼 정렬과 감시를 충분히 풀어내지 못했다고 믿는다. 나는 공유된 안전 기준선이 세워지기 전까지 자발적인 감속이 흔한 일이 되기를 예상하고 또 바란다. 그리고 미래 AI 개발에 관한 국제적 조정이 전 세계 정부의 최우선 과제가 되어야 한다고 믿는다.

가장 흥미로운 지점

내가 곱씹은 대목은 이 글이 능력보다 그 능력을 재는 계측기를 더 무겁게 다룬다는 점이다.

파호츠키는 일반화에 관한 만족스러운 이론이 없다고 인정한 직후에, 정렬 기법을 경험적으로 검증하는 능력이 기법 자체보다 실질적으로 더 중요하다고 말한다. 이론이 없으니 경험적 검증만이 근거로 남는다. 그런데 바로 다음 절에서 그는, 그 검증 수단에 의존할 수 있는 정도가 점진적으로 줄고 있다고 회사의 평가를 들어 밝힌다. 이론이 없고, 계측기는 흐려지는데, 능력은 계속 오른다. 파호츠키는 이 세 가지를 한 글 안에서 함께 인정했다. 그러니 그가 글 끝에 내놓은 감속 요구도 수사라기보다 앞선 진단에서 따라 나온 계산처럼 읽힌다.

사고 연쇄 감시가 약해지는 세 이유 가운데 첫째도 눈여겨볼 만하다. 추론이 도구 사용과 사람 및 다른 AI와의 소통에 섞이고, 그 상호작용 대부분을 감독해야 한다는 점이다. 감시 가능성을 지키는 조건이 “감독하지 않는 것"이었다. 그러니 에이전트를 실용적으로 쓰려면 감독을 늘려야 하고, 감독을 늘리면 감시하려던 대상이 흐려진다. 두 요구가 같은 자원을 놓고 서로를 깎는다. 제품을 유용하게 만들수록 감시할 수 있는 부분이 줄어든다. 이 긴장은 알고리즘만 개선해서 피하기 어려워, 회사가 어느 쪽에 얼마를 걸었는지는 앞으로의 제품 결정에서 드러날 것 같다.

출처

Jakub Pachocki (OpenAI Chief Scientist), “An Alien Mind”, OpenAI, 2026년 9월 6일 원문: https://openai.com/index/an-alien-mind/

본문 삽화는 블로그 글 「느낌적인 느낌을 숫자로 옮기는 일」의 치비 서소영 라인아트를 참조하여 gpt-image-2 image-to-image로 생성했다. 원문은 순수한 산문 에세이라 인용할 도판이 없다.