3줄 요약
- Block 산하 연구실 Team Dessa가 2026년 10월 21일 실시간 대화 모델 Dessa를 공개했다. 연구진은 문자 데이터나 사전학습 언어모델을 전혀 쓰지 않고, 사람의 음성 대화 데이터만으로 이 모델을 처음부터 학습시켰다.1
- 기존 음성 AI는 음성을 텍스트로 바꾸고, 응답 문장을 생성한 뒤 다시 음성으로 읽는다. 이 과정에서는 감정의 변화, 한숨, 비꼬는 억양, 말 사이의 침묵을 보존하지 못한다. 이와 달리 Dessa는 음성을 글자로 바꾸지 않고 소리를 직접 듣고 소리로 대답한다. 상대의 말을 들으면서 동시에 말하는 전이중(full-duplex) 방식이며, 맞장구를 치거나 상대의 말에 끼어들 때를 스스로 정한다.
- 언어를 배우는 데 들어간 단어 수는 텍스트 언어모델보다 수백 배 적었다. 연구진은 NVIDIA GB200 NVL72 한 대로 학습을 마쳤고, 완성된 모델은 MacBook Pro M4 Max 이상 사양의 노트북에서 실시간보다 빠르게 추론한다.2
음성을 텍스트로 바꾸는 과정의 한계
아기가 처음 말을 배울 때는 글자를 알지 못한다. 부모와 주변 어른들의 대화를 수없이 듣고 따라 하는 과정에서 억양과 호흡, 말차례를 귀로 익히게 된다. 반면 오늘날 널리 쓰이는 음성 AI는 사람의 말소리를 그대로 이해하지 못한다.
지금까지의 음성 인터페이스는 사용자의 말소리를 음성 인식(STT) 모델로 받아 문자열로 바꾸는 일부터 시작한다. 텍스트 기반 언어모델(LLM)은 그렇게 변환된 글자를 읽고서야 대답할 문장을 만들고, 마지막에 음성 합성(TTS) 모델이 그 문장을 소리 내어 읽는다. 이 과정에서 생성되는 문자열은 웃음기, 한숨, 떨림, 주저할 때의 침묵, 반어적인 억양을 표현하지 못한다.
Team Dessa는 문자 변환을 거치지 않는 순수 음성 대화 모델을 개발한 동기를 세 가지로 제시했다.
- 학습 가능성에 대한 탐구: 아기가 글자를 배우기 전에 듣기만으로 말하기를 배우듯, 인공지능도 문자 데이터 없이 오직 대화 소리만으로 언어를 배울 수 있는지 확인하고자 했다.
- 대화 타이밍과 미묘한 뉘앙스 보존: 음성 대화에서 의미는 단어 선택 못지않게 말하는 방식과 타이밍으로 전달된다. 소리를 텍스트로 변환하면 호흡과 박자가 사라져 대화의 상호작용이 부자연스러워진다.
- AI 안전성 확보: AI의 성능과 자율성이 높아질수록 사용자의 감정 상태를 듣지 못하는 한계는 위험 요소가 된다. 사용자가 목소리로 심한 고통을 표현해도 음성 AI가 그 상태를 전혀 감지하지 못할 수 있다. 그런 상황에서도 AI가 아무 일 없다는 듯 대화를 이어간다면 심각한 안전 문제로 이어질 수 있다는 지적이다.
소리만으로 언어를 배우려면
연구진은 Dessa를 학습시킬 때 사전학습된 텍스트 언어모델의 가중치를 사용하지 않았다. 모든 가중치를 새로 초기화한 뒤, 사람이 실제로 주고받은 음성 대화 녹음만으로 처음부터(from scratch) 학습시켰다. 학습 데이터에는 텍스트를 전혀 사용하지 않았다. 연구진은 자신들이 아는 한 순수 인간 음성만으로 학습해 현실적인 실시간 대화를 수행하는 세계 최초의 모델이라고 밝혔다.
| 비교 항목 | 기존 텍스트 파이프라인 음성 AI | 순수 음성 대화 모델 Dessa |
|---|---|---|
| 학습 데이터와 기반 모델 | 대규모 텍스트 코퍼스 및 사전학습 LLM 필수 | 텍스트와 사전학습 LLM 없이 순수 음성 대화만으로 처음부터 학습 |
| 단어당 데이터 크기 | 누가 입력하든 동일한 소량의 텍스트 바이트 | 발화마다 파형이 달라지며 텍스트 대비 단어당 수천 배 많은 바이트 |
| 요구 단어 수 | 방대한 텍스트 토큰 학습 필요 | 텍스트 LLM보다 수백 배 적은 단어 수로 언어 습득 |
| 상호작용 방식 | 발화 종료 대기 후 순차 응답 | 듣기와 말하기를 동시에 수행하는 전이중(full-duplex) 대화 |
| 학습 및 구동 하드웨어 | 대규모 서버 클러스터 중심 | NVIDIA GB200 NVL72 1대로 학습, MacBook Pro M4 Max에서 실시간 이상 속도로 로컬 구동 |
소리만으로 언어를 학습할 때 가장 까다로운 점은 같은 말도 발화할 때마다 소리가 달라진다는 것이다. 텍스트에서는 누가 입력하든 같은 단어가 동일한 바이트열로 기록된다. 반면 음성은 같은 사람이 같은 문장을 똑같은 방식으로 두 번 발음해도 음파가 완벽히 일치하는 법이 없다. 단어 하나를 표현하는 데 필요한 데이터 용량만 비교해도 소리 데이터가 텍스트보다 수천 배나 크다.
같은 단어 배열이라도 어느 단어에 강세를 두느냐에 따라 문장의 뜻이 매번 바뀐다는 점도 음성 학습의 난도를 높인다. 원문은 "I didn't say she stole my CUDA code"라는 여덟 단어 문장을 예로 들었다. 첫 단어 I에 강세를 두면 ‘그 말을 한 사람은 내가 아니다’라는 뜻이다. say를 강조하면 ‘말로 한 적은 없다’라는 뜻으로 읽힌다. CUDA를 강조할 때는 ‘훔쳐 간 코드는 CUDA 코드가 아니다’라는 의미가 된다. 텍스트라는 중간 단계를 생략한 덕분에 억양과 강세, 말 사이의 쉼, 호흡, 유머, 말차례 규칙까지 소리에서 곧바로 학습할 수 있었다.
대본 없는 실시간 대화 데모 21건
원문 페이지에는 실제 사람이 Dessa와 실시간으로 주고받은 대화를 그대로 녹음한 오디오 클립 21건(대표 데모 6건과 추가 샘플 15건)이 공개돼 있다.3 연구진은 대화 도중 모델을 조종하지 않았으며, 무엇을 언제 어떤 목소리와 성격으로 말할지를 모두 Dessa가 스스로 선택했다고 설명했다.
| 데모 제목 (길이) | 대화 주제 | 타임스탬프별 주요 반응 |
|---|---|---|
| Talking about the release (2분 52초) | 음성 모델 공개 소식과 의식의 비밀 | 상대의 농담이 끝나기 전 웃긴 대목(11-12초, 66-72초)에서 즉시 웃음을 터뜨린다. 139초에 상대가 마이크 가까이 와서 헛기침을 하고 더 크게 말해 달라고 요청한다. Dessa는 이런 행동을 별도로 배운 적이 없는데도 즉시 사과하고 훨씬 큰 소리로 말한다. |
| Remembering a movie (2분 40초) | 크리스토퍼 놀란 감독의 배트맨 영화 | 상대가 두 번째 배트맨 영화 제목을 떠올리지 못하자, 38-41초에 "The Dark Knight"라고 말하며 상대의 문장을 대신 끝맺는다. 73-79초에는 우주 영화 설명을 듣고 "Interstellar"를 바로 맞추며 대화를 이끈다. |
| An anniversary surprise (1분 52초) | 기념일 파리 여행 깜짝 선물 | 47-48초에는 깜짝 선물이 있다는 말을 듣고 숨을 들이켜며 놀란다. 파리행 항공권과 에펠탑 호텔 소식을 듣자 61-65초에 "Oh my god!"라고 속삭인다. 75-84초에는 울먹이는 목소리로 감사를 전한다. |
| Expressive conversation (3분 3초) | 하루 15잔의 커피와 힘든 아침 | 44-47초에는 상대가 설탕 때문에 살이 쪘다고 말하는 도중에 나머지 말을 대신한다. 하루에 커피 15잔을 마신다는 농담(74-115초)에는 억양과 말속도를 크게 바꿔 가며 상대와 함께 웃는다. |
| Life advice (5분 1초) | 진로에 대한 불안과 선택 상담 | 12-36초에는 피곤해하는 상대를 다정한 어조로 위로한다. 112-139초에는 시도하지 않은 선택 때문에 미련이 생긴다고 조언한다. 282-301초에는 하루 종일 침대에만 머물지 말라고 독려한다. |
| Dessa in conversation with GPT-Live-1 (5분 1초) | OpenAI 실시간 음성 모드와의 직접 대화 | 연구진이 두 모델을 소개하는 87-101초에는 잠자코 기다린다. 대화가 시작된 뒤에는 128.8초에 "fantastic", "okay", "right" 같은 짧은 추임새로 빠르게 반응하며, 상대 모델이 어떻게 학습했는지 묻는다. |
원문 하단에는 표의 6건 외에도 추가 샘플 15건이 공개돼 있다. 엉터리 스페인어로 노래하는 장면(Singing nonsense Spanish), 환불 요청 상황극(Refund), 세탁실 물난리 대화(Bathroom disaster)가 수록돼 있다. 게임과 축구 이야기(Zelda discussions, Marvel gaming, Ronaldo) 등 다양한 일상 대화와 즉흥 연기도 있다.4
추가 연구 질문과 안전성 검증
Team Dessa는 순수 음성 대화 모델이 기존 텍스트 모델 연구에서 다루지 않았던 새로운 질문을 제기했다고 밝혔다.
| 연구 주제 | 핵심 질문 |
|---|---|
| 지식 습득 효율성 | 소리만으로 학습한 모델은 텍스트 모델과 비교해 언어 구조와 세상에 관한 지식을 얼마나 효율적으로 습득하는가? |
| 다국어 확장성 | 문자 표기 체계의 도움 없이 새로운 외국어를 배울 때 얼마나 적은 음성 데이터로 학습할 수 있는가? |
| 음성 인컨텍스트 학습 | 상대가 마이크 가까이 와서 크게 말해 달라고 요청하자 Dessa는 즉시 목소리를 높였다. 이처럼 음성 모델은 대화의 맥락을 이해해 어떤 새로운 과제를 즉석에서 수행할 수 있는가? |
연구진은 이처럼 감정을 생생하게 듣고 표현하는 음성 모델이 예상치 못한 위험을 동반할 수 있다고 보고, AI 안전성 연구자들을 대상으로 조기 접근(Early Access) 신청을 받고 있다. 소속 기관 이메일을 통해 신청하거나 연구팀([email protected])에 직접 연락하면 모델 검증에 참여할 수 있다.
가장 흥미로운 지점
이번 발표에서 내가 특히 주목한 것은 단어 수와 바이트 수의 차이였다. 그동안 언어모델 연구에서는 지능과 유창함에 수조 개의 텍스트 토큰이 필요하다는 전제가 통용됐다. Dessa가 학습한 음성 데이터는 텍스트보다 단어당 바이트 수가 수천 배나 크고, 발화할 때마다 파형도 달라진다. 그럼에도 실제 대화에 필요한 말차례와 감정 표현을 익히는 데는 텍스트 모델보다 수백 배 적은 분량의 단어만으로 충분했다.
말소리를 글자로 적는 순간 억양과 호흡, 감정의 변화는 기호에서 빠진다. 이런 텍스트로 인간 대화의 맥락을 복원하려면 매우 많은 문장이 필요하다. 반면 말소리의 파형에는 단어뿐 아니라 화자의 의도와 감정을 나타내는 단서도 기록돼 있다. 이번 실험에서는 단어 하나가 전달하는 정보가 많으면 학습에 필요한 전체 단어 수가 크게 줄어들 수 있다는 가능성을 확인할 수 있다.
출처
- 발행 기관 및 저자: Block Team Dessa (리드 Ragavan Thurairatnam 외)
- 발표일: 2026년 10월 21일
- 원문: https://block.xyz/dessa
- 치비 서소영 삽화 4장은 「느낌적인 느낌을 숫자로 옮기는 일」의 치비 서소영 라인아트를 참조해 gpt-image-2.5-flare로 따로 생성했다.
Team Dessa는 토론토의 딥러닝 스타트업 Dessa 출신 연구자들이 세운 Block 산하 소규모 AI 연구 조직이다. 팀 리드는 Ragavan Thurairatnam이다. Louay Hazami, Hashiam Kadhim, Qi (Alex) Liu, Rayhane Mama, Aydin Polat, Marc Tyndel과 인턴 연구원들도 참여했다. 연구팀은 Block 공동창업자이자 의장인 Jack Dorsey에게 직접 보고한다. 모태가 된 팀은 2012년부터 딥러닝 모델을, 최근 8년 이상 생성형 음성 모델을 개발해 왔다. ↩︎
원문에 따르면 텍스트 기반 대규모 언어모델은 일상 대화뿐 아니라 C++나 Angular 같은 프로그래밍 언어와 방대한 문서 지식도 함께 학습해야 한다. ↩︎
원문 페이지의 오디오 플레이어는 대화 중 주목할 만한 반응이 나오는 시점마다 큐(cue) 마커를 표시한다. 자막은 실시간으로 응답을 생성할 때 쓰이지 않았다. 독자가 대화를 듣기 쉽도록 녹음이 끝난 뒤에 자막을 달았다. ↩︎
추가 샘플 15건의 전체 목록은
Artist Dessa,Bathroom disaster,Hobbies talk,Lazy AI gaming,Marvel gaming,Noisy GPT live,Oh my god,Poor Elina,Refund,Ronaldo,Safety lab,Singing nonsense Spanish,Spontaneous AI,Wise Dessa,Zelda discussions다. ↩︎