3줄 요약

  1. 1인 창작자 Sac(@Saccc_c)이 Fable 5.1, GPT Image 2.5, Tripo, Opus 5.5, Astra를 조합해 16일 만에 《어린 왕자》를 바탕으로 한 3D 탐험 게임 The Little Prince: Across the Stars를 만들었다. 이어 전체 제작 절차와 프롬프트를 공개했다.
  2. 배경 제작은 GPT Image 2.5로 다각도 레퍼런스 시트를 만드는 것에서 시작한다. 그다음 AI가 Tripo H3.1로 따로 생성할 소품과 Blender에서 직접 조형할 지형 및 구조물을 구분하고, 마지막으로 Opus 5.5가 Blender CLI와 공식 Unity MCP로 씬을 조립해 여러 각도의 스크린샷 검수로 완성한다.
  3. 캐릭터는 T-포즈 4면도를 Tripo Smart Mesh P2.0에 입력해 사각형 메쉬 모델로 생성한다. 이후 Opus 5.5가 Blender의 Auto-Rig Pro로 뼈대 심기와 스키닝을 하고, Mixamo 애니메이션을 연결하며, IK 컨트롤러로 도구와 맞닿는 동작까지 보정한다.

제작 배경과 도구 분업

싱가포르에서 활동하는 AI 크리에이터 Sac(@Saccc_c)은 16일 만에 3D 웹 게임 The Little Prince: Across the Stars를 완성했다.1 생텍쥐페리의 소설 《어린 왕자》에 나오는 행성들을 직접 걸어 다니며 여행하는 게임이다. 이 게임이 공개 직후 여러 플랫폼에서 누적 조회수 약 300만 회를 기록하자, 그는 배경 조형과 캐릭터 제작, 코드 작성과 디버깅을 AI에게 맡긴 구체적인 작업 순서와 프롬프트를 X 아티클로 정리해 발표했다.

개발 과정에서는 작업마다 성격을 먼저 따져 다섯 가지 AI 모델과 두 가지 3D 제작 도구를 조합해 썼다.

단계담당 모델 및 도구주요 역할
기획 및 스토리 정리Fable 5.1제품 요구사항 문서(PRD) 작성, 핵심 씬과 등장인물 및 스토리라인 구성
시각 레퍼런스 생성GPT Image 2.5배경 다각도 레퍼런스 시트 및 캐릭터 T-포즈 4면도 원화 생성
3D 에셋 생성Tripo (H3.1, Smart Mesh P2.0)고정밀 배경 소품(H3.1)과 리깅용 사각형 메쉬 캐릭터(P2.0) 생성
3D 조립 및 핵심 코드Claude Opus 5.5 + Blender CLI + Unity MCP에셋 배치, 자동 리깅, Mixamo 모션 적용, 핵심 게임 로직 구현
반복 개선 및 디버깅Astra세부 동작 개선과 버그 수정

외부 3D 소프트웨어와 게임 엔진도 AI 에이전트가 명령줄과 프로토콜로 직접 제어할 수 있도록 연동해 두었다.

  • Blender 환경: Blender CLI를 설치해 Tripo에서 가져온 3D 모델을 최적화하고 씬 전체를 조형한다. 캐릭터 관절 설정용으로는 유료 애드온 Auto-Rig Pro를 추가로 설치해 자동 리깅과 스키닝, 상호작용 애니메이션 보정에 쓴다.2
  • Unity 환경: 배경과 캐릭터, 상호작용 효과를 실행 가능한 게임 하나로 통합하려고 Unity 엔진과 Unity CLI를 설치하고, 프로젝트에 Pipeline 패키지를 추가했다. 이렇게 하면 Claude(Opus 5.5)가 공식 Unity MCP(Model Context Protocol)로 에디터의 오브젝트를 배치하고 컴포넌트를 직접 조작한다.

배경 구축 절차

배경 제작은 세 단계로 진행된다. 먼저 GPT Image 2.5로 머릿속 구상을 여러 각도의 구체적인 이미지로 확정한다. 다음으로 그 이미지를 보고 Tripo로 생성할 개별 소품과 Blender에서 직접 만들 구조물을 분류하며, 마지막으로 Opus 5.5가 Blender와 Unity를 제어해 씬을 조립한다.

1단계: 다각도 배경 레퍼런스 시트 생성

기획 단계에서 정리한 요구사항을 바탕으로 GPT Image 2.5를 사용해 배경 레퍼런스 이미지를 생성한다. 이 단계에서 전체 화풍과 색감, 주요 사물의 배치 기준을 확정한다.

먼저 마음에 드는 대표 풍경 이미지를 한 장 확정한 뒤, 그 이미지를 기준으로 삼아 다른 각도의 뷰를 보충하면 일관성을 유지하기 좋다. 특히 실내와 실외가 함께 있는 장면이나 입체적인 지형에서는 전체 배치를 파악할 탑뷰(부감도)와 사물의 높이 및 앞뒤 관계를 확인할 쿼터뷰(사선 측면도)를 함께 준비한다. 아래 B-612 소행성 예시처럼 전경 파노라마, 주요 구역별 클로즈업, 대표 색상 팔레트를 레퍼런스 시트 한 장으로 묶어 생성할 수도 있다. 하단 여섯 칸에는 서쪽 의자, 장미 구역, 화산 세 개, 샘물, 물뿌리개가 놓인 나무 선반, 휴식 공간의 세부 뷰를 각각 배치했다.

GPT Image 2.5로 생성한 B-612 소행성 종합 레퍼런스 시트. 상단에 소행성 전체 파노라마 뷰가 있고 하단에 서쪽 의자, 장미 구역, 화산 구역, 샘물 세부, 도구 선반, 휴식 공간의 6개 클로즈업 뷰가 배치되어 있다. GPT Image 2.5로 생성한 B-612 소행성 종합 레퍼런스 시트. 출처: 원문 아티클

배경 레퍼런스 시트 생성용 프롬프트

업로드한 배경 레퍼런스 이미지를 바탕으로, 이 배경의 전체 모습을 담은 종합 레퍼런스 시트를 생성해 줘. 전체 환경의 다각도 뷰와 부분별 세부 묘사가 함께 포함되어야 해.

(원문: 基于上传的场景参考图,帮我生成一张该场景的全面貌参考图片,包括整体环境的多视角视图以及局部细节的展示。)

2단계: 에셋 분류 및 Tripo H3.1 소품 생성

레퍼런스 시트가 준비되면 먼저 AI에게 이미지를 분석하게 해서, Tripo에서 개별 3D 모델로 생성할 사물과 Opus 5.5가 Blender와 Unity에서 직접 조형할 사물을 구분한다.

에셋 제작 방식 분류용 프롬프트

지금 게임을 개발하고 있고, 기술 스택은 Tripo, Blender, Unity야. 앞서 생성한 배경 레퍼런스 시트를 바탕으로, Tripo로 생성하기 좋은 에셋과 Blender에서 직접 만드는 게 나은 에셋을 자세히 분석해 줘. 내가 확인할 수 있도록 Tripo로 생성해야 할 에셋을 이미지 위에 직접 표시해 줘.

(원문: 我现在要进行游戏开发,我的技术栈是 Tripo + Blender + Unity。你根据我们上述生成的场景参考图,帮我去深入分析哪些资产适合用Tripo 生成,而哪些资产适合用 Blender 直接进行搭建。将需要Tripo生成的资产在图片中标注出来,方便我来确认。)

B-612 소행성 전경 이미지 위에 Tripo 우선 생성 대상 에셋 6종이 하늘색 원과 라벨로 표시된 화면 AI가 분류해 표시한 Tripo 우선 생성 에셋(T1~T6). 출처: 원문 아티클

B-612 소행성 예시에서는 바위 기본형(T1), 이끼 낀 돌 기본형(T2), 바오밥나무 묘목(T3), 장미 꽃봉오리(T4), 담요(T5), 원경의 나무(T6)만 Tripo 생성 대상으로 분류했다. 지형과 오솔길, 나무 선반, 의자, 바람막이 울타리, 유리 덮개, 화산, 물뿌리개 등 나머지 구조물은 Blender에서 직접 조형한다.

분류된 배경 소품을 Tripo에서 제작할 때는 HD Model 탭의 H3.1 모델을 사용한다. H3.1은 정적 소품의 표면 질감과 형태 디테일을 높은 정밀도로 재현하는 데 적합하다.

Tripo 3D Workspace에서 HD Model 탭과 H3.1 모델을 선택하고 텍스처 해상도와 면수를 설정하는 화면 Tripo HD Model 탭의 H3.1 설정 화면. 출처: 원문 아티클

3단계: Opus 5.5의 씬 조립과 다각도 블라인드 검수

Tripo에서 개별 소품을 생성해 내보낸 뒤에는, 이 3D 에셋 파일들과 1단계의 다각도 레퍼런스 시트를 Opus 5.5에 전달한다. Opus 5.5는 Blender와 Unity를 제어해 전체 지형과 기본 구조물을 만들고, 레퍼런스 시트에 맞춰 소품을 배치하며 크기와 위치를 맞춘다.

배치가 끝나면 정면과 측면 등 여러 카메라 각도에서 뷰포트 스크린샷을 찍어 Opus 5.5에 다시 입력한다. 이 스크린샷을 레퍼런스 시트와 비교하며 위치와 세부 형태를 거듭 보정한다. 이 단계에서는 조립을 수행한 에이전트와 별개로 독립된 검수 에이전트(review agent)를 호출해 다각도 블라인드 검수를 맡긴다.

Blender 및 Unity 씬 복원 및 검수용 프롬프트

업로드한 실내외 다각도 레퍼런스 시트와 Tripo로 생성해 둔 3D 에셋을 바탕으로, 레퍼런스 시트와 똑같은 수준으로 씬을 재현해 줘. 원화의 질감과 세부 묘사를 그대로 살려야 해. 구현을 마친 뒤에는 독립된 검수 에이전트를 호출해 여러 카메라 각도에서 블라인드 검수를 진행해. 원화와 다른 부분이 발견되면 일치할 때까지 반복해서 수정해 줘.

(원문: 根据上传的场景内外景多视角参考图以及生成好的Tripo 3D资产,你来对照参考图进行完美级的复刻。要求实现和参考图一样的惊艳质感和细节还原。在实现完成后,派一个独立的审查 agent进行进行多机位的场景盲审。如果发现有和参考图差异的地方,就不断地进行迭代完善。)

캐릭터 구축 절차

캐릭터 제작은 주인공인 어린 왕자를 예시로 설명한다. 먼저 GPT Image 2.5로 T-포즈 4면도를 만들고, Tripo의 Smart Mesh P2.0 모델로 3D 캐릭터 메쉬를 생성한다. 이어 Blender의 Auto-Rig Pro 애드온으로 리깅과 스키닝을 하고 Mixamo 애니메이션을 연결한다. 도구와 맞닿는 복잡한 동작은 마지막에 Blender에서 추가로 보정한다.

1단계: T-포즈 4면도 레퍼런스 생성

먼저 캐릭터 외형 설정에 맞춰 GPT Image 2.5로 어린 왕자의 T-포즈 4면도를 생성한다. T-포즈는 양팔을 수평으로 벌린 자세이고, 4면도는 정면, 후면, 좌측면, 우측면의 네 방향 그림이다. 네 그림 모두에서 복장 주름과 허리띠, 부츠 형태 등 세부 생김새가 일관되어야 3D로 생성할 때 형태 왜곡이 줄어든다.

GPT Image 2.5로 생성한 어린 왕자의 T-포즈 정면, 후면, 좌측면, 우측면 4면도 GPT Image 2.5로 생성한 어린 왕자 T-포즈 4면도. 출처: 원문 아티클

2단계: Tripo Smart Mesh P2.0 기반 3D 캐릭터 생성

배경 소품에 H3.1을 썼던 것과 달리, 캐릭터 모델링에는 Tripo의 Smart Mesh P2.0 모델을 사용한다. Smart Mesh P2.0은 게임과 인터랙티브 콘텐츠용으로 설계된 모델로, 폴리곤 수를 제어하기 쉽고 관절 변형과 편집에 유리한 메쉬 구조를 만들기 때문에 이후의 리깅과 애니메이션 작업에 알맞다.

Tripo 작업 화면 상단에서 Smart Mesh를 고르고 다중 뷰 생성 모드로 전환한 뒤, 앞서 만든 4면도 이미지를 순서대로 업로드한다. 토폴로지(Topology)는 관절이 구부러질 때 면이 깨지지 않도록 기본값인 사각형 메쉬(Quad)로 둔다. 폴리곤 수(Polycount)는 최대치인 25,000(화면 기준)으로 높이고, P2.0 모델을 선택해 생성한다.

Tripo Smart Mesh 탭에서 다중 뷰 입력을 선택하고 Quad 토폴로지와 P2.0 모델을 설정한 화면 Tripo Smart Mesh P2.0 생성 설정 화면. 출처: 원문 아티클

처음 생성된 무채색 메쉬의 와이어프레임이 깔끔하게 정렬되어 있으면 하단 툴바의 Texture 버튼을 눌러 텍스처를 입힌다. 일부 영역의 메쉬 흐름이 어색하거나 형태가 어긋났다면, 텍스처를 입히기 전에 Edit Mesh 기능으로 문제 부위만 최대 3회까지 다시 생성할 수 있다.

Tripo에서 생성된 어린 왕자 사각형 와이어프레임 모델과 하단 Edit Mesh 및 Texture 버튼 안내 화면 생성된 어린 왕자 캐릭터의 사각형 메쉬(실제 생성 결과 Faces 30,441 / Vertices 29,101) 확인 화면. 출처: 원문 아티클

3단계: Blender Auto-Rig Pro 자동 리깅과 스키닝

Tripo에서 캐릭터 모델을 내보낸 뒤에는 Blender의 Auto-Rig Pro 애드온을 이용해 뼈대를 심고 스키닝을 진행한다. 애드온이 설치된 상태에서 Claude(Opus 5.5)에 캐릭터 모델 파일을 전달하고 아래 프롬프트로 리깅과 동작 검증을 지시한다.

Auto-Rig Pro 자동 리깅 및 검증용 프롬프트

Auto-Rig Pro를 사용해 캐릭터의 리깅과 스키닝을 완료하고, 뼈대 위치가 캐릭터의 실제 관절과 정확히 일치하도록 맞춰 줘. 작업이 끝나면 팔 들기, 다리 굽히기, 몸 돌리기 등 기본 동작을 테스트해서 형태가 찌그러지거나 메쉬가 늘어나거나 서로 뚫고 지나가는(클리핑) 곳이 있는지 확인하고 고쳐 줘.

(원문: 使用 Auto-Rig Pro 为人物完成绑骨和蒙皮,确保骨骼位置与人物关节对齐。完成后测试抬手、弯腿、转身等基础动作,检查并修正明显的变形、拉扯和穿模问题。)

4단계: Mixamo 애니메이션 탐색 및 뼈대 매핑

기본 관절 검증이 끝나면 Adobe의 무료 3D 모션 라이브러리인 Mixamo에서 게임에 필요한 동작 키워드(예: jump 등)를 검색해 FBX 형식의 애니메이션 파일을 내려받는다.

Mixamo 웹 인터페이스에서 jump 동작을 검색하고 오른쪽 패널에서 팔 간격과 프레임 범위를 조정해 다운로드하는 화면 오른쪽 설정 패널에서 캐릭터 팔 간격(Character Arm-Space)을 조정할 수 있으며, 나중에 쓸 프레임을 고르기 쉽도록 프레임 구간(Trim)은 길게 설정해 두는 편이 좋다. 출처: 원문 아티클

내려받은 FBX 파일은 Opus 5.5에 전달해 어린 왕자 모델의 실제 뼈대 구조와 호환되는지 점검하게 한 뒤 캐릭터에 연결한다.

5단계: 소품 접촉 등 특수 상호작용 동작의 IK 세부 보정

걷기나 점프 같은 일반 동작과 달리, 어린 왕자가 물뿌리개를 손에 들고 물을 주는 것처럼 캐릭터와 소품이 맞닿는 상호작용은 Mixamo의 기성 모션만으로 자연스럽게 구현하기 어렵다. 이럴 때는 Mixamo에서 가장 비슷한 기본 동작을 먼저 가져온다. 그다음 Opus 5.5가 Blender에서 Auto-Rig Pro의 팔 IK(역운동학) 컨트롤러와 손가락 관절을 거듭 조정해, 어린 왕자가 물뿌리개 손잡이를 안정적으로 쥐게 보정한다.3

Blender 뷰포트에서 Auto-Rig Pro의 주황색 IK 컨트롤러로 어린 왕자가 물뿌리개를 드는 자세를 보정하는 화면 Auto-Rig Pro IK 컨트롤러(주황색)로 물뿌리개 들기 자세를 보정하는 Blender 화면. 출처: 원문 아티클

물뿌리개 들기 동작 IK 세부 보정용 프롬프트

내가 준 Mixamo 동작을 참고하되 쓸 만한 부분은 그대로 두고, Auto-Rig Pro의 팔 IK 컨트롤러로 팔 자세를 조정해 줘. 손가락 쥐기 동작과 물뿌리개 위치를 세밀하게 교정해서 물뿌리개 들기 동작을 완성해 줘. 손바닥이 손잡이에 안정적으로 맞닿아 있어야 하고, 들어 올리는 과정도 자연스러워야 해. 메쉬가 서로 뚫고 지나가거나, 손이 손잡이에서 떨어지거나, 물뿌리개가 공중에 뜨는 일이 없게 해 줘.

(원문: 请参考提供的 Mixamo 动作,保留其中适用的部分,并使用 Auto-Rig Pro 的手臂 IK 控制器调整手臂姿势,配合手指握持和水壶位置的细节修正,补全提水壶动作。确保手掌与把手接触稳定、提起过程自然,避免穿模、握持脱离或水壶悬空。)

가장 흥미로운 지점

배경 제작 2단계에서는 3D 생성 AI에 모든 조형을 통째로 맡기지 않고, AI가 레퍼런스 시트를 먼저 분석해 Tripo로 생성할 에셋과 Blender에서 직접 만들 구조물을 구분한다. 바위, 바오밥나무 묘목, 장미 꽃봉오리처럼 형태가 불규칙하고 유기적인 소품은 Tripo H3.1로 만들고, 지형, 오솔길, 나무 선반, 의자처럼 비례와 평면이 반듯해야 하는 구조물은 Opus 5.5가 Blender에서 직접 조형한다. 3D 생성 AI가 강점을 발휘하는 대상과 절차적 모델링이 유리한 대상을 시작 단계에서부터 분리해 작업 효율을 높였다.

Blender CLI와 Auto-Rig Pro, Unity MCP를 연결해 Opus 5.5가 에셋 배치부터 관절 스키닝, IK로 물뿌리개를 쥐는 동작의 보정까지 처리하도록 묶은 구성도 참고할 만하다. 코딩 에이전트가 코드 작성 외의 3D 조립 작업까지 맡으며, 여러 각도의 뷰포트 스크린샷을 시각 피드백으로 삼아 메쉬가 서로 뚫고 지나가는 클리핑과 손잡이 접촉 상태를 스스로 검수하고 수정하기를 반복한다.

출처


  1. 완성된 게임은 브라우저에서 바로 실행할 수 있으며, 후속 작업으로 전체 소스 코드와 상세 제작 문서가 GitHub 저장소에 오픈소스로 공개될 예정이다. ↩︎

  2. 리깅(Rigging)은 3D 모델 내부에 움직임을 제어할 관절 뼈대를 심는 작업이다. 스키닝(Skinning)은 뼈대가 회전할 때 모델 표면의 정점이 자연스럽게 따라 움직이도록 연결 가중치를 설정하는 작업이다. 원문에서는 각각 绑骨, 蒙皮라고 표기한다. ↩︎

  3. IK(Inverse Kinematics, 역운동학)는 손끝이나 발끝의 목표 위치를 먼저 지정하면 팔꿈치와 어깨 같은 상위 관절의 각도가 자동으로 계산되는 제어 방식이다. 어깨에서 손목 순서로 관절을 하나씩 회전시키는 순운동학(FK)과 대비되며, 캐릭터의 손이 물뿌리개 손잡이 같은 특정 물체에 고정되어야 하는 동작을 만들 때 필수적으로 쓰인다. ↩︎