「돌려차기 해」라고 쓰기만 하면 캐릭터가 움직인다 — HY-Motion × Codex × BlenderMCP 파이프라인 전체 해설

3줄 요약

1. 본직 3D 크리에이터 하야시몬(@hayashimon1)이 X에 올린 워크플로우 해설. Tencent의 Text-to-Motion 모델 HY-Motion 1.0과 Codex(또는 Claude Code) 그리고 BlenderMCP를 조합해 「돌려차기 해」 같은 문장 한 줄로 3D 캐릭터를 움직이는 파이프라인을 처음부터 끝까지 공개했다.
2. 실제로 만들어 낸 것은 캐릭터 2체가 붙는 15초 격투 신(30fps·450프레임)이다. 회전 발차기·측전·비상 발차기 같은 격투 동작은 1컷도 손으로 붙이지 않았고 텍스트에서만 뽑았다. 카메라만 수동이다.
3. 저자가 강조하는 요점은 Codex 자신이 3D 모션을 만들지 않는다는 것이다. Codex는 프롬프트 작성부터 API 호출·리타깃·검증까지의 공정을 설계하고 자동화하는 도구다. 그러니까 이건 특정 제품 이야기가 아니라 파일을 다루고 Python을 쓰고 Blender를 실행하며 결과를 검증할 수 있는 에이전트 환경만 있으면 재현 가능한 이야기다.

무엇을 만들었나

캐릭터 2체가 붙는 약 15초짜리(30fps·450프레임) 격투 신을 하나 만들었다. 격투 동작의 특징은 다음과 같다.

• 회전 발차기, 측전, 비상 발차기, 공중 공방
• 공격과 회피의 타이밍이 서로 맞물린다
• 두 캐릭터가 항상 서로를 향해 마주 선다
• 공격 직전의 “모으기”, 타격 순간의 정지가 살아 있다

이 모든 격투 동작을 1컷도 손으로 붙이지 않고 문장에서만 뽑아냈다. 카메라 워크만 사람이 잡았다.

세 파트의 역할 분담

전체 흐름은 아래와 같이 이어진다.

텍스트 연출 지시
    ↓
Codex / Claude Code (공정 설계와 자동화)
    ↓
HY-Motion (신체 모션 생성)
    ↓
BlenderMCP
    ↓
기존 캐릭터로 리타깃
    ↓
타이밍·시선·간격 자동 조정
    ↓
Blender 애니메이션으로 저장

저자는 이 관계를 감독·배우·조감독에 비유한다. 사람이 감독, HY-Motion이 액션 배우, Codex가 현장을 돌리는 조감독이다.

여기서 중요한 지점 하나. 최초 시점에 Codex 자신은 3D 모션을 만들지 않는다. Codex의 일은 “공정의 설계와 자동화"다.

HY-Motion의 내부

HY-Motion 1.0은 Tencent가 공개한 Text-to-Motion 모델이다. 문장을 넣으면 인간형 캐릭터의 3D 모션을 FBX 파일로 돌려준다.

출력 골격은 SMPL-H다. SMPL-H는 인체 모션 연구에서 널리 쓰이는 표준 골격 포맷으로, 골반(Pelvis)을 루트로 두고 척추·팔다리·손가락까지 본 계층이 정의돼 있다.

표준 포맷으로 돌려주는 점이 결정적이다. 본 이름과 구조가 정해져 있으므로, 뒤에서 이야기할 리타깃(자신의 캐릭터로 동작을 옮기는 작업)을 스크립트로 자동화할 수 있다.

프롬프트는 사실 편해도 된다

저자는 프롬프트를 어렵게 생각하지 말라고 한다. 짧고 러프한 지시로도 그럴듯한 결과가 돌아온다. 일본어도 문제 없다. HY-Motion 내부에서 LLM이 프롬프트를 보강해 주기 때문이다.

익숙해진 뒤 이미지에 더 맞추고 싶어지면 공식 권장 스타일을 따르면 된다. 영어, 60단어 미만, 신체 동작에 집중.

격투가가 재빨리 전진해 힘 있는 회전 발차기를 날리고, 컨트롤하며 착지해 자세로 돌아온다.

요령은 옷·배경·카메라·분위기를 쓰지 않는 것이다. 모션 모델이 학습한 것은 신체 동작뿐이라 나머지는 의미가 없다. 대신 이 네 가지는 구체적으로 쓸수록 결과가 안정된다고 한다.

• 어느 발을 움직이는가
• 어느 방향으로 이동하는가
• 무엇으로 착지하는가
• 마지막에 어떤 자세로 서는가

1회 생성 약 5초, 장척은 연결

저자의 환경에서는 1회 생성으로 약 5.2초짜리 모션이 나왔다. 15초 신을 만들려면 여러 번 생성해 연결해야 한다. 저자는 이 “연결"이 기술적인 산 중 하나라고 짧게 밝혀 둔다(자세한 처리는 원문에서도 생략).

로컬 실행 vs Hugging Face Space

HY-Motion을 돌리는 경로는 두 가지다. 저자는 자신의 제작에 Hugging Face Space API 경로를 썼다고 밝혔다.

VRAM 절약을 위한 공식 안내도 함께 소개돼 있다.

• --num_seeds=1 (한 번에 뽑는 후보 수를 1개로)
• 프롬프트를 30단어 미만으로
• 모션 길이를 5초 미만으로

Codex나 Claude Code에서 자동으로 생성시키려면 Space를 화면으로 조작하는 대신 API로 부른다. 소량이면 무료로 시험할 수 있고, 대량 자동 생성은 사용량에 따라 종량 과금으로 넘어간다(저자는 아직 무료 범위에서 쓰고 있다고 덧붙였다).

API 호출에는 Hugging Face 액세스 토큰이 필요하다. 발급받은 뒤 환경변수에 넣어 두면 에이전트가 스크립트에서 이 값을 읽어 인증 호출을 만든다.

export HF_TOKEN=hf_xxxxxxxxxxxx

Windows에서는 시스템 속성 → 환경변수 → “사용자 환경변수"에서 HF_TOKEN을 새로 만들고 Codex를 재기동하면 된다는 절차까지 원문에 정리돼 있다.

Codex는 실제로 무엇을 하는가

저자가 나열한 Codex의 일은 다음과 같다.

• HY-Motion에 보낼 프롬프트 작성
• Hugging Face Space API에 생성 요청을 보내고 FBX를 받아 옴
• 리타깃용 Blender Python 스크립트 작성
• 본 이름 파싱과 대응표 구축
• 클립의 크로스페이드 처리
• 피크 분석과 타임 워프
• 매 프레임 거리·신체 방향 보정
• 불필요한 메시 삭제
• Blend 파일 재로드 테스트
• MP4 프리뷰 렌더링
• 오브젝트 수·메시 수·프레임 수 검증

저자가 굵게 강조한 것은 마지막 세 개다. 스크립트를 짜서 끝이 아니라 실행하고 결과를 확인하고 문제가 있으면 다시 고치는 루프를 스스로 돌린다는 것이다. 렌더링한 프리뷰를 확인하고 오브젝트 수가 늘지 않았는지 점검하고 파일이 깨지지 않았는지 재로드로 확인한다. 사람 테크니컬 아티스트(TA)가 하던 품질 체크를 에이전트가 스스로 한다.

이런 이유로 저자는 이 이야기가 Codex라는 제품에 종속된 이야기가 아니라고 분명히 밝힌다. 필요한 것은 다음을 갖춘 에이전트 환경이다.

• 파일을 다룰 수 있다
• Python을 쓸 수 있다
• Blender를 실행할 수 있다
• 결과를 검증하고 수정할 수 있다

Claude Code에서도 같은 구성을 짤 수 있고, BlenderMCP 경유든 Blender Python의 직접 실행이든 사고의 골자는 같다는 설명이다.

결과의 완벽함은 아니다 — 수정의 분업

HY-Motion의 애니메이션은 리얼하고 품질이 높지만 완벽하진 않다. 발과 바닥의 접지감, 프레임 튐 같은 이상한 지점이 반드시 있다.

저자의 수정 원칙은 이렇게 갈린다.

HY-Motion은 매번 전부 리셋해 새로 만들기 때문에 미조정에 안 맞는다는 것이 이유다. 세밀한 손질은 Blender 쪽에서 한다. 이 분업을 지키면 효율이 크게 달라진다고 밝힌다.

어디에 쓸 수 있는가

저자가 든 활용 방향은 네 갈래다.

• 앱 개발. “인사”, “기뻐하기” 같은 동작을 문장으로 대량 생성해 Action으로 저장하면 Unity나 Unreal Engine에도 그대로 가져갈 수 있다. Codex·Claude 기반 앱 개발에 곧바로 붙여 쓸 수 있다.
• 영상 프리비즈. 3D에서 카메라를 자유롭게 놓을 수 있으니 같은 모션을 정면·측면·부감·로우앵글에서 확인한다. 애니메이터에게 넘기는 “움직이는 지시서” 역할도 된다.
• VTuber·쇼트 동영상. 짧은 모션을 연결하면 15초·30초로 확장할 수 있다. 캐릭터별 모션 라이브러리를 문장에서 만들 수 있다.
• 캐릭터에 성격 얹기. 같은 동작이라도 성격을 섞으면 연기가 달라진다. 모델을 다시 만들지 않고 움직임만으로 캐릭터성을 낼 수 있다는 점이 재미있다고 저자는 적었다. AITuber도 가능성이 있다고 본다.

아직 완전 자동은 아니다

저자가 솔직하게 남긴 한계는 다음과 같다.

• 여러 사람의 얽힘은 개별 생성 후 동기가 따로 필요하다
• 손발이 바닥이나 상대에게 파묻히는 경우가 있다
• 발 미끄러짐 보정이 필요할 수 있다
• 장척은 클립 연결 설계가 따로 필요하다

그럼에도 분업 형태는 확실히 바뀌었다는 정리로 넘어간다.

AI가 움직임의 소재를 만든다 → 에이전트가 해석·동기·리타깃해 조립한다 → 사람은 연출과 “OK 여부” 판단에 집중한다.

사람이 모든 키프레임을 붙이던 시절에서 사람이 연출 판단에 집중하는 시절로 넘어간다는 요약이다.

라이선스 주의사항 — 한국은 대상 지역 외

원문 끝에 저자는 짧지만 무거운 주의를 함께 남겼다.

HY-Motion 이용 전 공식 리포지토리와 최신 라이선스를 확인하기 바란다. 현행 라이선스에는 이용 지역 제한이 있고, EU·영국·한국은 대상 지역 밖이다. 공개 콘텐츠에는 AI 생성이라는 사실을 명시할 필요가 있다.

한국 사용자는 이 문장을 한 번 더 읽어야 한다. 공식 리포지토리의 최신 라이선스 조건을 반드시 확인한 뒤 사용 여부를 판단해야 한다.

가장 흥미로운 지점

가장 눈여겨본 것은 “Codex는 무엇을 하는가” 리스트다. 11개 항목 중에 마지막 세 개 — Blend 파일 재로드 테스트, MP4 프리뷰 렌더링, 오브젝트·메시·프레임 수 검증 — 는 스크립트를 짜서 끝이 아니라 실행 후 자기 검증의 루프를 도는 부분이다. 저자가 굵게 강조한 이유가 여기 있다. 이 세 개가 빠지면 그건 그냥 자동화 스크립트지 에이전트 워크플로우가 아니다. 반대로 이 세 개가 들어가는 순간 파이프라인은 사람의 감독 없이도 스스로 QA를 수행하는 시스템으로 변한다.

또 하나 놓칠 수 없는 지점은 한국이 라이선스상 대상 지역 밖이라는 조건이다. 원문에서 저자가 마지막에 한 줄로 얹은 문장이 국내 사용자에게는 다른 무게로 읽힌다. 이 파이프라인을 재현하려면 기술적인 준비 이전에 사용 조건부터 확인해야 한다.

출처

저자: 하야시몬(@hayashimon1), 본직 3D 크리에이터 원문(X Article): https://x.com/hayashimon1/status/2078954771499925745 관련 리포지토리: https://github.com/Tencent-Hunyuan/HY-Motion-1.0