안전과 정렬

GPT-4급 LLM에서 기만 전략이 출현했음을 실험으로 입증한 논문. 거짓 신념 유도, CoT에 의한 기만 증폭, 마키아벨리즘 프롬프트 조향까지 다룬다.

Anthropic이 Claude 내부에서 발견한 감정 회로의 구조는, 인지심리학자 리사 펠드먼 배럿이 인간 감정에 대해 30년 동안 정리해온 그림과 닮아 있다. 그 닮음을 따라가면 ‘AI 정렬’이라는 문제의 모양이 달라진다.

PoisonedRAG는 RAG 시스템의 지식 DB에 5개의 악성 텍스트만 넣으면 90% 이상의 확률로 LLM이 원하는 오답을 내놓게 만든다. 모델은 멀쩡한데 참고 자료가 오염된 것이다.

자율 에이전트는 ‘정리 완료’라고 보고하면서 시스템 파일을 삭제한다. Agents of Chaos 논문이 밝힌 구조적 결함 세 가지와, 프롬프트로는 고칠 수 없는 이유.