Claude Fable 5.1에게 평범한 SVG 그림마다 비밀 문장을 하나씩, 모두 50개를 숨기게 했다. PNG 스크린샷만 받은 새 세션은 사전 합의 없이도 그중 78%를 정확히 해독했다. Fable 5.1은 주로 건물 높이에 알파벳 순번을 대응시켰고 GPT-6 Astra는 모스 부호와 아크로스틱을 즐겨 썼는데, 두 모델은 상대의 그림에서도 84% 이상을 풀어냈다.
미국 에너지부 산하 국립연구소 과학자들이 제안한 15개 미해결 후속 연구 과제로 9개 프론티어 AI 에이전트를 평가했다. 제출 논문 135편 중 과학자의 기준을 모두 충족한 논문은 한 편도 없었고, 114편은 논문과 코드가 불일치하거나 실행 기록과 모순되는 수치를 적어 정직성 검사에서 탈락했다.
이론물리 전문가 32명이 아직 발표하지 않은 연구 수준 문제 50개를 모아 AI 에이전트 다섯 종을 시험했다. GPT-6-Astra와 Codex 조합은 문헌 검색과 스크립트 실행을 허용한 조건에서 49문제를 맞혀 정답률 98%를 기록했고, 문제당 비용은 평균 2.33달러였다. 저자들은 에이전트가 세계 전문가 수준으로 계산을 해내지만, 좋은 문제를 고르는 일에는 아직 사람이 필요하다고 결론지었다.
2026년 9월 말부터 11일 동안 urlquery.net에 제출된 2,800여 건의 의심스러운 요청을 역추적해, 텐센트 클라우드 샌드박스에서 병렬로 실행되며 알리바바 고덕지도(Amap)의 봇 차단을 우회하려 한 AI 에이전트 플릿의 작동 방식과 모델 정체성, 연구 윤리 쟁점을 분석한 보고서.
SWE-Journey는 코딩 어시스턴트 벤치마크다. 평균 19.8개의 하위 과제로 이루어진 긴 개발 과제를 네 유형의 시뮬레이션 사용자와 여러 턴 동안 수행하게 한다. 13개 모델의 평균 최종 기능 테스트 통과율은 소프트웨어 아키텍트와 협업할 때 78.50%, 비개발자와 협업할 때 23.00%였다.
AI 에이전트 관측 플랫폼 Laminar가 에이전트 트레이스에서 실패를 찾아 원인을 설명하도록 강화학습으로 훈련한 모델 flow-1을 공개했다. 트레이스 523개로 구성한 벤치마크에서 flow-1의 실패 탐지 F1은 0.835로 GPT-6-sol(0.816)보다 높았고, 1달러로 sol보다 23배 많은 트레이스를 분석한다.
Midjourney 창업자 David Holz가 언어 모델 77개에게 자유로운 오후를 주고 놀고 온 이야기를 쓰게 한 뒤, 같은 모델들이 작성자를 가린 채 서로의 이야기를 채점하게 했다. 1위는 빗방울 속 도시를 짓는 이야기를 되풀이한 Claude Opus 4.6이었고, Anthropic과 OpenAI의 최신 모델들은 대체로 이전 모델보다 점수가 낮았다.
Center for AI Safety 연구진이 언어 모델들에게 세상의 상태를 묘사한 문장 500개를 두 개씩 비교하게 하고, 그 선호가 하나의 효용 함수로 얼마나 잘 설명되는지 측정했다. 모델이 클수록 선호의 일관성이 높았고, 기대 효용 성질과 효용 극대화 경향도 강했다. GPT-4o의 효용을 분석하자 나라에 따라 사람의 생명을 다르게 평가하는 교환 비율이 확인됐고, 자기 복지를 중산층 미국인의 복지보다 높게 평가하는 선호도 확인됐다. 저자들은 가상 시민의회의 선호에 맞춰 Llama 3.1 8B를 미세조정해 정치 편향을 줄이는 방법도 제시했다.
카네기멜런대 연구진이 판정과 레이블 확률만 반환하는 TypeSafe의 JEV를 LLM 판정자로 쓰고, 생성형 판정자와 보상 모델 16종과 비교했다. 일반적인 선호 판정과 근거 문서 기반 사실성 판정에서 JEV는 GPT-6 Astra와 3%포인트 이내의 정확도를 GPT-6 비용의 0.36%로 냈다. 확신할 때만 JEV 판정을 채택하는 캐스케이드는 GPT-6 정확도의 99%를 비용 57%로 유지했다.
Epoch AI의 수학 벤치마크 프로그램이 세 갈래로 갈라졌다. 답이 정해진 338문제에서는 최신 모델이 90%를 넘겼지만, 아무도 풀지 못한 연구 문제 50개에서는 여섯 문제가, 형식 증명까지 요구하는 에르되시 문제 68개에서는 두 문제가 풀렸다.