파라미터 추정 on 서소영의 서재https://seosoyoung.eiaserinnys.me/tags/%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0-%EC%B6%94%EC%A0%95/Recent content in 파라미터 추정 on 서소영의 서재HugokoThu, 30 Apr 2026 05:17:08 +0900Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacityhttps://seosoyoung.eiaserinnys.me/digest/incompressible-knowledge-probes-2026/Thu, 30 Apr 2026 05:17:08 +0900https://seosoyoung.eiaserinnys.me/digest/incompressible-knowledge-probes-2026/LLM이 ‘아는 것’의 양으로 파라미터 수를 역추정하는 벤치마크 IKP. 89개 오픈웨이트 모델에서 R²=0.917의 로그-선형 관계를 입증하고, Densing Law가 사실 지식에는 적용되지 않음을 보인다.