토큰 비용

우버가 사내 AI 코딩 사용량을 7배로 키우면서 요청 1,000건당 비용을 34% 낮춘 기록. 지출을 여섯 항의 곱으로 분해하고, 사람이 요청한 일이 아니라 에이전트가 자기 편의로 쓰는 토큰만 골라 깎았다.

루프 엔지니어링을 ‘기억’ 한 축에서 다시 보는 글. 한 단계에 얼마나 많은 컨텍스트를 모델에 보일지를 두고 토큰이 풍부한 루프와 빈약한 루프가 갈리며, 그 사이의 균형을 잡는 열쇠가 명시적 메모리 계층임을 분명히 밝힌다. 메모리 인프라 기업 Mem0의 관점이 깔린 글이지만, 루프의 기억이라는 차원을 정면으로 다룬다는 점에서 연재를 닫는 좌표로 삼을 만하다.