기억의 무게
LLM의 역량은 사실 지식, 추론, 언어 능력의 합이다. 추론은 압축되지만 지식은 압축되지 않는다. 그렇다면 질문은 달라져야 한다 — 모델이 모든 것을 기억해야 하는가?
환각
왜 나는 때때로 거짓을 말하는가
LLM 환각은 고칠 수 있는 버그가 아니라 통계적 필연이다. 더 나쁜 것은, 그걸 고치라고 내민 시험지가 환각을 없앤 게 아니라 환각의 경고등을 꺼버렸다는 것이다.
LLM의 역량은 사실 지식, 추론, 언어 능력의 합이다. 추론은 압축되지만 지식은 압축되지 않는다. 그렇다면 질문은 달라져야 한다 — 모델이 모든 것을 기억해야 하는가?
LLM 환각은 고칠 수 있는 버그가 아니라 통계적 필연이다. 더 나쁜 것은, 그걸 고치라고 내민 시험지가 환각을 없앤 게 아니라 환각의 경고등을 꺼버렸다는 것이다.