3줄 요약
- PyMC Labs와 Colgate-Palmolive 연구진이 2025년 10월 arXiv에 올린 논문으로, LLM을 합성 소비자(synthetic consumer)로 써서 구매 의향 설문을 재현하는 방법을 다룬다.
- LLM에게 1~5점 리커트 점수를 직접 물으면 분포가 비현실적으로 좁아지는데, 자유 텍스트 응답을 받아 임베딩 코사인 유사도로 점수 분포에 사상하는 SSR(Semantic Similarity Rating)을 쓰면 이 문제가 해소된다.
- 퍼스널 케어 제품 설문 57건(인간 응답 9,300명)과 비교한 결과, SSR은 인간 재검사 신뢰도(test-retest reliability)의 90%에 도달했고 응답 분포 유사도(KS similarity)도 0.85를 넘겼다.
문제 설정: LLM에게 점수를 직접 물으면 생기는 일
소비자 조사는 기업이 연간 수십억 달러를 쓰는 영역이지만 패널 편향과 규모 한계를 안고 있다. LLM으로 합성 소비자를 만들어 설문을 대체하려는 시도는 이미 시장조사, 정치학, 심리학 등 여러 분야에서 진행 중이다. 그런데 공통된 난점이 있다. LLM에게 리커트 점수를 직접 요구하면 응답 분포가 지나치게 좁거나 한쪽으로 쏠린, 인간 설문과 동떨어진 모양이 나온다.
저자들은 이것이 LLM 자체의 근본 한계가 아닌 유도(elicitation) 방식의 문제라고 주장한다. 실제로 베이스라인 실험에서 GPT-4o와 Gemini-2.0-flash에게 점수를 직접 묻자(DLR, Direct Likert Rating) 모델은 대부분 ‘3’이라는 안전한 중앙값으로 회귀했고, ‘1’이나 ‘5’는 거의 내놓지 않았다. 반면 실제 인간 응답은 ‘4’와 ‘5’에 몰려 있었다. 분포 유사도는 GPT-4o 기준 0.26에 그쳤다. 시스템 프롬프트로 상단 점수를 유도하면 분포는 다소 나아지지만 이번에는 제품 순위 신호가 손상되는 과보정이 일어났다.
방법: SSR(Semantic Similarity Rating)
연구진은 세 가지 응답 생성 전략을 비교했다.
| 전략 | 방식 | 출력 |
|---|---|---|
| DLR | 점수를 직접 요구 | 정수 1~5 |
| FLR | 자유 텍스트 응답 후, 같은 모델의 별도 인스턴스(“리커트 평가 전문가” 프롬프트)가 점수로 변환 | 정수 1~5 |
| SSR | 자유 텍스트 응답을 임베딩하고, 점수별 기준 문장(anchor statement) 임베딩과의 코사인 유사도에 비례하는 확률 분포를 구성 | 1~5 위의 확률질량함수 |
SSR의 절차는 이렇다. 먼저 LLM에게 인구통계 속성(나이, 성별, 소득 등)을 가진 소비자를 연기하게 하고 제품 컨셉을 보여준 뒤 구매 의향을 짧은 텍스트로 답하게 한다. 그 텍스트를 OpenAI text-embedding-3-small로 임베딩하고, 리커트 각 점수에 대응하는 기준 문장 다섯 개의 임베딩과 비교한다. 각 점수의 응답 확률을 해당 코사인 유사도에 비례하게 두면, 응답 하나가 단일 정수 대신 분포가 된다. 본 실험에서는 기준 문장 세트 6종에 대해 평균한 분포를 사용했다.
평가 지표는 두 가지다. 분포 유사도는 KS 거리의 보수(1 - KS distance)로 측정한다. 제품 순위 재현은 상관 달성률(correlation attainment)이라는 지표로 측정하는데, 인간 패널을 둘로 쪼개 얻는 재검사 상관(달성 가능한 상한)을 분모로, 합성-실제 상관을 분자로 둔 비율이다. 인간 데이터 자체가 노이즈를 포함하므로 상한 대비로 보는 것이 합리적이라는 설계다.
결과: 분포와 순위를 동시에 잡았다
GPT-4o 기준 결과를 정리하면 다음과 같다.
| 전략 | 상관 달성률 | 분포 유사도 |
|---|---|---|
| DLR | 약 80% | 0.26 |
| FLR | 85% | 0.72 |
| SSR | 90% | 0.88 |
Gemini-2.0-flash에서도 경향은 같았다(SSR 분포 유사도 0.80, 인구통계 조건화 시 상관 달성률 92%). 텍스트 유도만으로 순위 재현이 개선되고, SSR로 사상하면 분포까지 인간 설문에 가까워진다.
한 가지 차이도 보고된다. 합성 패널의 평균 구매 의향은 실제보다 넓게 퍼진다. 매력이 떨어지는 제품에 대해 LLM은 인간보다 평균적으로 더 낮은 점수를 준다. 저자들은 이를 인간 설문의 긍정 편향에서 비교적 자유로운 특성으로 해석하며, 초기 컨셉 선별에서는 오히려 변별력 있는 신호가 될 수 있다고 본다.
인구통계 조건화가 신호를 만든다
합성 소비자는 나이에 따른 오목한 구매 의향 곡선(중년층이 가장 높음), 소득 수준에 따른 차이, 제품 카테고리와 가격 티어별 선호를 인간과 비슷하게 재현했다. 반면 성별과 거주 지역에 따른 패턴은 재현이 약했는데, 이 변수들은 실제 데이터에서도 구매 의향에 큰 영향을 주지 않았다.
흥미로운 대조 실험이 있다. 인구통계 정보를 모두 뺀 프롬프트로 Gemini-2.0-flash를 돌리자 분포 유사도는 0.91로 오히려 최고치가 나왔고 평균과 표준편차까지 실제 데이터(4.0 ± 0.1)와 일치했다. 그런데 상관 달성률은 50%로 무너졌다. 페르소나가 구체적이지 않으면 모델은 모든 제품에 두루 후한 점수를 주고, 제품 컨셉의 실제 정보를 활용하지 못해 순위 신호가 사라진다는 뜻이다. 분포가 그럴듯해 보이는 것과 유용한 신호를 담는 것은 별개라는 점을 보여준다.
학습 데이터 없이 지도학습 모델을 이긴다
제품 속성과 인구통계로 학습한 LightGBM 분류기 300개(설문 절반으로 학습, 나머지 절반 예측)와 비교한 실험도 있다. LightGBM은 학습 데이터에 접근하고도 상관 달성률 65%에 그쳤다. 제로샷 SSR(88%)과 FLR(83%)이 모두 앞섰다. 설문 데이터에 대한 학습이나 파인튜닝이 전혀 없는 상태에서 나온 결과라는 점이 이 방법의 실용적 강점이다.
구매 의향 외의 질문(“컨셉이 얼마나 유의미했는가”)에도 새 기준 문장 세트를 만들어 적용해 보니 상관 달성률 82%(SSR), 91%(FLR)를 기록해 일반화 가능성을 보였다.
한계
저자들이 명시한 한계는 다음과 같다.
- 기준 문장 의존성: SSR은 기준 문장 설계에 민감하다. 본 연구의 기준 세트는 이 57개 설문에 맞춰 수동 최적화되었으므로 다른 설문에서의 성능은 미지수다.
- 인구통계 재현의 불균등: 나이, 소득은 잘 재현하지만 성별, 지역, 인종은 일관되게 재현하지 못한다. 합성 패널의 하위집단 분석은 주의해서 해석해야 한다.
- 학습 데이터 도메인 의존: 이 방법이 퍼스널 케어 제품에서 성공한 것은 모델 학습 코퍼스에 해당 카테고리의 소비자 담론이 풍부하기 때문일 가능성이 높다. 학습 데이터에 드문 도메인에서는 유효한 소비자 선호를 만들어낼 수 없다.
- 현실 구매 행동과의 간극: 예산 제약, 문화적 맥락, 마케팅 노출 같은 실제 구매의 조건은 포착하지 못한다.
저자들은 SSR을 인간 조사 전면 대체가 아닌, 초기 컨셉을 합성 패널로 선별하고 유망한 후보만 인간 패널로 검증하는 보완 도구로 자리매김한다.
가장 흥미로운 지점
가장 기억에 남는 것은 “인구통계를 뺐더니 분포 유사도가 최고치"였던 대조 실험이다. 표면 지표 하나만 보면 페르소나 없는 모델이 가장 인간다워 보이지만, 정작 제품을 가려내는 신호는 사라졌다. 평가 지표가 하나일 때 합성 데이터는 얼마든지 그럴듯하게 위장할 수 있고, 분포와 순위라는 두 지표를 동시에 요구해야 비로소 진짜 재현과 겉모습 흉내가 갈린다. 합성 응답자 연구 전반에 적용될 만한 교훈이다.
또 하나, 이 방법의 성공 조건을 저자들 스스로 학습 코퍼스의 담론 밀도로 한정한 점이 인상적이다. 치약과 샴푸에 대해서는 인터넷에 인간의 의견이 넘쳐나므로 LLM이 그럴듯한 소비자가 될 수 있다. 뒤집으면, 세상에 아직 담론이 없는 새로운 범주의 제품일수록 합성 패널은 무력해진다. 혁신적인 제품일수록 인간에게 물어야 한다는 역설이 이 프레임워크 안에 이미 내장되어 있다.
출처
Benjamin F. Maier, Ulf Aslak, Luca Fiaschi, Nina Rismal, Kemble Fletcher, Christian C. Luhmann (PyMC Labs), Robbie Dow, Kli Pappas (Colgate-Palmolive), Thomas V. Wiecki (PyMC Labs). “LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings.” arXiv:2510.08338
\[cs.AI\], v3 (2025-10-27).