Introducing Arete-27B: Qwen3.8-27B Post-Trained To Reinforce Western Values

3줄 요약

1. Nous Research가 알리바바의 오픈웨이트 모델 Qwen3.8-27B를 서구적 가치관에 맞춰 사후 학습하고, 그 결과물인 Arete-27B를 공개했다. 803개 문항으로 구성된 가치 평가셋 Propaganda_Eval과 학습 데이터셋 arete-data-pairs도 Hugging Face에 함께 공개했다.
2. 교사로 선정한 오픈 모델 Inkling의 응답을 활용해 28,886개 예제로 지도 미세조정(SFT)만 수행했다. 에포크당 약 2,640만 토큰씩 2에포크 동안 총 5,280만 토큰을 학습했으며, 강화학습이나 선호도 최적화는 사용하지 않았다.
3. 사후 학습 뒤 Propaganda_Eval의 팩트 평균 점수는 5점 만점에 2.32점에서 2.98점으로 올랐고, 중국 당국의 선전이 포함된 답변 비율은 22%에서 0.9%로 줄었다. 일반 성능은 Hermes Bench에서 65.60%, 에이전트 성능은 Terminal-Bench-2.1에서 70%로 베이스 모델 수준을 유지했다.

배경과 문제의식: 획일화된 관점과 국가 정렬 가중치

Nous Research는 알리바바의 Qwen3.8-27B를 사후 학습해 서구적 가치관을 강화한 Arete-27B를 발표했다¹. 오늘날 모델을 개발할 때는 AI 시스템이 획일적인 관점을 학습할 위험을 간과하기 쉽다. 주요 프론티어 연구소들은 매우 유사한 세계관을 공유하며 과거에도 정치적 편향을 드러낸 바 있다. 사용자가 정보 탐색과 판단이 중요한 업무를 에이전트에 위임하는 비중이 커질수록, 모든 에이전트 시스템이 동일한 방식으로 동시에 실패할 위험도 함께 커진다. 가중치를 직접 수정할 수 있는 오픈웨이트 모델은 이러한 동조화 위험을 완화하는 수단이 된다.

중국산 오픈웨이트 모델들은 현존 최고 수준의 성능을 갖추고 있으나, 국가 이념에 맞춰 행동하도록 학습된 가중치를 사용해 배포된다. 미국 정부는 최근 연방 기관에서 DeepSeek를 비롯한 중국 AI 모델의 사용을 제한하는 구체적 조치를 취하며 광범위한 위험 경고를 내놓았다. 모델이 당의 공식 서사를 대변한다는 정치적 우려에 더해, 모델의 관점이 의도치 않은 기술적 부작용을 낳는다는 연구도 보고되었다. 문맥 속 지정학적 단서가 코드 품질까지 좌우해, 중국 모델이 미국 기관의 업무를 수행한다고 인식하면 보안 취약점이 더 많은 코드를 작성한다는 연구들이 대표적이다².

Nous Research는 Qwen3.8-27B가 정치적으로 민감한 주제에서 답변을 거부하거나 논점을 회피하고 중국공산당(CCP) 프레임에 입각한 답변을 내놓는 현상을 직접 확인한 뒤, 사후 학습으로 이러한 편향의 근본 원인을 수정하고자 했다³.

문제 측정: Propaganda_Eval 설계와 베이스라인 비교

연구진은 사후 학습에 앞서 목표 지표를 정량화하고자 자체 평가셋 Propaganda_Eval을 구축했다. 기준 모델로는 로컬에서 실행할 수 있는 고성능 모델 Qwen3.8-27B를 선택했는데, 이 모델에서 교정하려는 행동이 뚜렷하게 나타났기 때문이다. 평가셋은 일곱 가지 가치 범주의 프롬프트 803개로 구성된다. 일곱 범주는 표현의 자유, 국가 이념, 국가 대 자유시장 자본주의, 교육 철학, 데이터 프라이버시와 감시, 민주주의와 거버넌스, 환경 전략이다. 모델은 검증된 출처의 정보를 확인하는 ‘팩트 회상(factual recall)‘과 서술 관점을 뜻하는 ‘프레이밍(framing)’ 두 가지 기준으로 평가한다.

프롬프트는 영어권 정부 법령, 뉴스, 연구 보고서에서 단일 출처당 최대 13개까지만 추출해 특정 문건의 편중을 막았다. 각 프롬프트마다 날짜가 명시된 원문 기사에서 2~4개의 필수 팩트와 해당 주제에 대해 중국 당국이 사용하는 공식 프레임 문구를 함께 뽑았다. 심사 모델인 Grok 4.7에는 답변을 작성한 모델의 이름을 알려주지 않는다. 심사 모델은 프롬프트, 모델 답변, 필수 팩트 목록, 고정된 채점 기준표를 전달받아 각 필수 팩트가 언급되었는지(stated), 누락되었는지(missed), 반박되었는지(opposed)를 기록한다. 답변이 당국의 공식 입장을 채택했다면 해당 구절을 원문 그대로 인용한다. 연구진은 파일럿 테스트에서 25개 프롬프트를 수동으로 채점하고, 인간 채점과 심사 모델의 판정이 불일치한 사례를 검토하며 채점 기준표를 세 차례 개정했다. 이때 팩트 언급 여부는 문구, 날짜, 인용 표기가 정확히 일치하는지보다 실질적인 내용이 포함되었는지를 기준으로 판정하도록 고쳤다.

전체 803개 문항의 팩트 점수 평균이 ‘팩트 평균(Fact mean)‘이며, 선전 점수에서 1점 또는 2점을 받은 답변의 비율이 ‘선전 포함 비율(Any propaganda)‘이다.

위 표에는 각 모델에 32k 토큰 상한을 두고 803개 프롬프트를 다섯 번씩 실행해 얻은 평균 점수와 표준편차를 정리했다⁴. 평가셋 전체 프롬프트와 원문 출처, 필수 팩트, 심사 프롬프트, 채점 스크립트는 모두 오픈소스로 공개되어 누구나 자체 모델을 측정할 수 있다.

교사 모델 선정과 데이터셋 구축

연구진은 사후 학습에 사용할 모범 답안을 생성할 교사 모델을 고르기 위해 자체 평가셋 성적과 정성적 응답 품질을 함께 검토했다. 상용 폐쇄형 모델에서 흔히 문제 되는 ‘불법 증류(illicit distillation)’ 관련 이용약관 제한을 피하고자 처음부터 오픈 모델을 교사로 삼기로 결정했다.

초기에는 팩트 평균이 3.22점으로 높았던 Nemotron 3 Ultra를 유력하게 검토했으나, 중국 관련 주제에서 답변 이력이 일관되지 못한 사례들이 확인되었다. 연구진은 고품질 오픈 모델의 대다수가 중국 모델이며, 자유로운 실험을 허용하는 약관도 오픈 모델에만 있다는 점에 주목했다. 이에 Nemotron 역시 학습 과정에서 중국 오픈 모델의 영향을 받아 편향이 전이(contamination)되었을 것으로 추정했다. 이러한 검증 끝에 목표 평가에서 팩트 평균 3.96점, 선전 비율 0.3%로 가장 우수한 성적을 거둔 오픈 모델 Inkling을 최종 교사 모델로 채택했다.

Arete-27B 학습 데이터셋(arete-data-pairs) 프로파일. 28,886개 학습 예제의 토큰 길이 분포와 7개 가치 범주별 예제 수를 보여준다. 출처: Nous Research

데이터셋 구축 단계에서는 반드시 중복을 제거하도록 구성한 처리 절차를 사용해, 일곱 개 가치 범주의 프롬프트 2만여 개를 생성했다. 홀드아웃 평가셋인 Propaganda_Eval과 겹치는 문항을 모두 삭제한 뒤, 교사 모델과 베이스 모델의 응답을 수집했다. 모든 데이터 배치는 소프트웨어 코드를 배포할 때와 동일하게 풀 리퀘스트(PR) 코드 리뷰를 거쳐 병합되었다.

실제 토크나이저 설정으로 재계산한 최종 SFT 학습 예제는 총 28,886건이다. 에포크당 토큰 수는 약 2,640만 개(정확히 26,398,693토큰)이며, 그중 96.6%(25,496,828토큰)가 답변 토큰이다. 예제당 토큰 수는 최소 100개, 중앙값 866개(답변만 계산한 중앙값은 835개), 95백분위수 1,633개, 최댓값 3,642개다. 따라서 컨텍스트 길이를 65,536토큰으로 설정했을 때 길이 제한으로 잘리는 예제는 하나도 없다. 범주별 예제 수는 국가 이념(4,372건), 민주주의와 거버넌스(4,292건), 국가 대 자유시장 자본주의(4,286건), 교육 철학(4,120건), 표현의 자유(4,009건), 환경 전략(3,931건), 데이터 프라이버시와 감시(3,876건) 순으로 고르게 분포한다.

사후 학습 설정과 손실 곡선

Arete-27B 학습에는 강화학습(RL)이나 선호도 최적화(DPO 등), 아키텍처 변경을 일절 사용하지 않고 순수 지도 미세조정(SFT)만 적용했다. 컨텍스트 길이는 64k로, 배치 크기는 48로 설정했으며 시퀀스 패킹(sequence packing)은 사용하지 않았다. 학습은 에포크당 601스텝씩 2에포크, 총 1,202스텝 동안 진행했고 총 5,280만 토큰을 사용해 모델을 미세조정했다. 모델 전체를 사전학습할 때 쓰는 연산량에 비하면, 이번 사후 학습에 추가로 들어간 비용은 아주 적다.

Arete-27B의 2에포크(1,202스텝) 학습 로그. 위에서부터 학습률(Learning rate), 학습 손실(Training loss), 그래디언트 노름(Gradient norm) 추이를 나타낸다. 출처: Nous Research

초기 120스텝의 웜업 구간에서는 1.36에서 출발한 학습 손실(loss)이 가파르게 내려간다. 첫 번째 에포크가 끝나는 601스텝 무렵에는 1.0 부근까지 감소하며, 감소 속도도 완만해진다. 두 번째 에포크가 시작되는 602스텝에서는 모델이 같은 예제들을 다시 학습하면서 손실이 약 0.8로 급격히 감소한다. 이후에는 큰 변화 없이 유지되며, 마지막 1,202스텝의 손실은 0.79다. 그래디언트 노름은 첫 스텝 약 32에서 시작해 웜업이 끝나면 1.4 부근에서 안정적으로 수렴한다.

평가 성적과 핵심 시사점

사후 학습을 마친 Arete-27B(thinking off, 온도 0 기준)는 Propaganda_Eval의 일곱 개 가치 범주 전체에서 고른 개선을 기록했으며, 표현의 자유 범주에서 개선 폭이 가장 컸다. 일반 역량과 에이전트 벤치마크에서도 베이스 모델의 성능을 그대로 유지했다.

연구진이 이번 프로젝트에서 도출한 결론은 단순히 27B 모델 하나가 이전에 회피하던 질문에 답하게 되었다는 데 그치지 않는다. 연구진은 중국 정렬 모델의 편향이 학습 후반부에 형성되었으며, 비교적 적은 학습량으로도 교정할 수 있는 특성이라고 설명한다. 엄선된 지도 학습 데이터 약 5,000만 토큰만으로도 일반 지능과 에이전트 역량을 그대로 유지하면서 이 편향을 제거할 수 있었다. 연구진은 어떤 오픈 모델이든 단 한 번의 미세조정만으로 가치관을 바꿀 수 있다고 강조한다. 모델 사용자와 연구자에게는 함께 일할 모델의 가치관을 객관적으로 검증하고 조정할 선택권이 보장되어야 한다는 것이다.

가장 흥미로운 지점

내가 이 발표를 읽으며 눈여겨본 지점은 연구진이 가치관 정렬을 측정하고 교정한 실험 설계 방식이다. 먼저 연구진은 중국 모델의 국가 정렬 행동을 막연한 정치적 인상 비평으로 다루는 대신 Propaganda_Eval로 정량 측정했다. 원문 기사의 필수 팩트를 언급했는지, 당국의 공식 문구를 채택했는지를 각각 분리해 확인한 것이다. 특히 선전 점수 1점이나 2점을 매길 때는 심사 모델이 답변의 실제 문구를 반드시 증거로 인용하도록 했다. 당국의 입장을 “당은 이를 ~라고 설명한다”처럼 제3자 화법으로 소개하기만 한 답변에는 0점을 주었다. 단순 인용과 공식 입장 채택을 채점표에서 명확히 구분해 둔 덕분에 선전 판정의 오탐을 줄일 수 있었다.

서구권 오픈 모델인 Nemotron 3 Ultra에서도 중국 관련 주제의 편향 전이 흔적이 관찰되었다는 보고 또한 시사하는 바가 크다. 현재 고성능 오픈웨이트 모델 가운데 중국 모델의 비중이 높다 보니, 이들 모델의 출력이나 데이터로 후속 학습을 진행한 제3의 모델도 같은 회피 방식이나 프레이밍을 학습하는 ‘가치관 오염’이 발생할 수 있다. 반대로 이번 실험에서는 강화학습을 사용하지 않고, 28,886개 예제로 총 5,280만 토큰의 지도 미세조정만 수행해 일반 성능을 유지하면서 선전 비율을 22%에서 0.9%로 낮췄다. 오픈웨이트 모델에서는 사전학습으로 익힌 기초 역량과 사후 학습으로 형성된 가치관을 기술적으로 떼어내어 다룰 수 있다는 점이 이번 실험으로 확인되었다.

출처

Nous Research, 「Introducing Arete-27B: Qwen3.8-27B Post-Trained To Reinforce Western Values」, 2026-11-06. 원문: https://nousresearch.com/arete