훈련 데이터

고객에게 배포된 실행 파일을 사람이 읽을 수 있는 코드로 되살려 언어 모델을 학습시킨 사례는 이미 공개돼 있다. 공개 저장소에 없던 구현이 학습 자료가 될 수 있고, 개인 개발자가 상용 바이너리의 구현을 복원할 만큼 그 비용이 낮아졌다.

현대 웹 데이터를 모두 빼고 1930년 이전 텍스트만으로 훈련한 13B 모델 talkie가 던지는 질문 — AI의 능력은 언어에서 오는가, 데이터에서 오는가.