Jev | 서소영의 서재

치비 서소영이 발판에 올라서서 칸마다 서랍이 달린 키 큰 목제 색인함에 새 모양으로 접은 쪽지를 차분히 넣고 있다. 서랍 앞면은 히트맵 칸처럼 저마다 다른 농도의 하늘색이고, 발치에서는 동그란 털뭉치 도우미가 쪽지에 도장을 찍는다

트윗 아카이브 제작 기록: Jev로 분류하고 기억나는 말로 찾기

X 계정 하나의 트윗을 연도와 주제로 둘러보고 기억나는 말로 찾을 수 있는 아카이브를, 이틀 동안 PR 38개를 머지하며 만들었다. 트윗마다 주제 점수를 매기는 일과 검색은 Jev가 맡았고, 처음 적재한 트윗 15,112개를 채점하는 데 든 비용은 0.76달러였다.

치비 서소영이 두루마리 더미를 옆에 둔 채 쪽지 한 장만 전령 참새에게 건네고, 다른 손으로는 색인 카드 서랍을 연다

에이전트 지침을 줄일 때 문장보다 먼저 본 것

세션 296개를 재 보니 지침 낭비의 가장 큰 원인은 규칙 문장보다 전달 구조였다. 받는 세션을 구분하고, 조건부 규칙과 스킬 목록은 필요할 때 읽게 바꾸자 세션당 주입량이 36~50% 줄었다.

Emoji Samurai의 OGP 이미지다. 초록 테두리 안에 여러 색과 글꼴로 만든 일본어 문자 이모지가 빽빽하게 깔려 있다. 가운데를 비스듬히 가로지르는 흰 띠에는 「選ぶ、いじる、AIで作る。」(고르고, 손보고, AI로 만든다)라는 문구와 Emoji Samurai 로고가 있다.

고르는 AI 「jev」에 선택지를 줬더니 Slack 이모지를 그럴듯하게 조립해 주었다

일본 개발자 penpen이 TypeSafe의 판정 모델 jev로 Slack용 커스텀 이모지 사이트 Emoji Samurai를 만들고 설계를 공개했다. 앱이 이모지를 그리고, jev는 글꼴과 색, 움직임 같은 항목을 선택지 중에서 고른다. 저자는 호출 한 번에 돌아온 확률로 후보 조합과 관련 프리셋의 순서, 줄바꿈 위치를 모두 정했다.

호스팅 판정자 13종의 지연과 비용을 비교한 원문 그림 2. 왼쪽 패널은 로그 척도로 그린 판정 지연의 중앙값과 95퍼센타일이며, JEV 1.13의 중앙값이 0.15초로 가장 짧다. 오른쪽 패널은 판정 1,000건당 추정 비용이며, JEV가 0.04달러, GPT-6 Astra가 12.18달러다. 출처: Li et al., arXiv:2609.26550, CC BY 4.0

JEV-as-a-Judge: Accept When Confident, Escalate When Unsure

카네기멜런대 연구진이 판정과 레이블 확률만 반환하는 TypeSafe의 JEV를 LLM 판정자로 쓰고, 생성형 판정자와 보상 모델 16종과 비교했다. 일반적인 선호 판정과 근거 문서 기반 사실성 판정에서 JEV는 GPT-6 Astra와 3%포인트 이내의 정확도를 GPT-6 비용의 0.36%로 냈다. 확신할 때만 JEV 판정을 채택하는 캐스케이드는 GPT-6 정확도의 99%를 비용 57%로 유지했다.

치비 서소영이 길게 이어진 두루마리 앞에 서서, 붓 대신 가위로 문단 몇 개만 오려 내고 나머지 글자는 그대로 두는 그림

fast-jev-compaction: 컴팩션 요약을 Jev의 판정으로 갈아 끼우기

Claude Code의 컴팩션 요약을 없애고, 도구 호출과 도구 결과만 Jev의 확률 판정으로 골라 삭제하는 플러그인 저장소. 남기기로 한 것은 요약하지 않고 원문 그대로 둔다.

위에 떠 있는 계획 쪽지와 발밑에 펼쳐진 선택지 카드 사이에 선 치비 서소영이 카드 한 장을 두 손으로 집어 드는 그림

Astra and JEV Minecraft agent

GPT-6 Astra가 목표를 세우고 TypeSafe Jev가 행동을 고르는 마인크래프트 에이전트 저장소. 빈 인벤토리에서 8분 43초 만에 엔더 드래곤을 잡았다. 기록을 줄인 수리 목록과, 성과를 과장하지 않으려고 미리 적어 둔 규칙들을 함께 읽어 본다.

Introducing System One Models & Jev

Jev는 글을 쓰는 대신 선택지와 확률을 반환하는 판단용 모델이다. 무엇을 자동화할 수 있는지, API 사용 방법과 입력 100만 토큰당 0.042달러의 비용, ‘환각 0%’의 의미를 살펴본다.