FiCA: Feed-forward Instant Gaussian Codec Avatars from a Single Portrait Image

3줄 요약

1. Meta Codec Avatars Lab의 Chen Cao 그룹과 POSTECH의 Kim Youwang(인턴) 외 10명이 2026년 6월 23일 arXiv에 공개한 시스템이다. 가볍게 찍은 인물 사진 한 장에서 실시간으로 움직일 수 있는 3D 가우시안 코덱 아바타를 5초 안에 만든다.
2. Sapiens 비전 파운데이션 모델이 부분 UV 좌표, 정점, 노멀을 뽑고, UV 공간 디퓨전이 완전한 텍스처와 기하를 생성하며, 피드포워드 UV 정제망이 미세 정렬을 보강하고, 보편 사전 모델(UPM)이 메시를 3D 가우시안으로 디코딩한다. 인물별 테스트타임 최적화나 오프라인 페이스 트래킹이 필요 없다.
3. 16명의 학습에 쓰지 않은 ID에 대해 PanoHead, GPAvatar, VOODOO 3D, Portrait4D-v1/v2, GAGAvatar와 비교했을 때 PSNR 24.508, SSIM 0.9637, ID-CSIM 0.5867로 모두 최상위였다. 극단적 표정과 다양한 피부톤에서 격차가 가장 크다.

한 장의 사진에서 5초 안에 움직이는 아바타로

기존의 사진적 3D 아바타 생성 파이프라인은 두 가지 길 사이에서 갈렸다. 하나는 다시점 돔 캡처처럼 풍부한 관측을 모으는 길로, 품질은 좋지만 비용이 무겁다. 다른 하나는 모노큘러 폰 캡처처럼 가벼운 관측을 쓰는 길로, 빠르지만 빈약한 정보를 메우기 위한 강한 사전 지식이 필요하다.

최근에는 Cao 외(2023)의 보편 사전 모델(Universal Prior Model, UPM)을 활용해 모노큘러 비디오에서 사진적 아바타를 만드는 흐름이 자리 잡았다. 그러나 이 흐름조차 오프라인 페이스 트래킹과 인물별 테스트타임 파인튜닝을 빼지 못했다.

FiCA는 두 가지 모두를 빼버린 시스템이다. 입력은 가볍게 찍은 인물 사진 한 장이고, 출력은 임의의 머리 자세와 표정 파라미터로 실시간 구동 가능한 3D 가우시안 아바타다. 사진 한 장에서 결과 아바타까지 5초가 걸린다.

파이프라인 — 세 모듈

전체 파이프라인은 세 모듈로 이루어진다.

1) Sapiens로 부분 관측 추출

Meta의 인간 중심 비전 파운데이션 모델인 Sapiens(Khirodkar 외 2024)를 파인튜닝하여, 입력 이미지의 픽셀마다 UV 좌표, 정점 좌표, 노멀 벡터를 예측한다. 이 예측을 이용해 RGB, 가시성 마스크, 노멀, 정점 좌표를 UV 공간으로 언래핑하면 네 종류의 부분 UV 맵이 만들어진다. 자기 가림(self-occlusion) 영역, 입 안쪽, 턱과 목 사이 등은 비어 있는 채로 남는다.

2) UV 공간 디퓨전 — 부분 관측에서 완전한 텍스처와 기하로

DiT 구조의 잠재 디퓨전 모델 한 개가 부분 UV 맵과 CLIP 이미지 임베딩을 조건으로 받아 완전한 UV 텍스처 맵과 UV 기하 맵을 동시에 생성한다. 도메인 스위처(Wonder3D의 cross-domain diffusion 발상)로 텍스처와 기하 두 영역을 한 모델로 통합한다. 학습은 conditional flow matching 손실로 이루어진다.

저자들은 이 모델이 디퓨전 기반 인페인팅과 다른 작업을 푼다고 강조한다. 부분 UV 맵은 가려진 부분만 비어 있는 깨끗한 입력이 아니라, Sapiens 예측 자체의 오차로 보이는 영역도 노이즈를 품고 있다. 그래서 빈 곳만 채우는 인페인팅이 아니라, 불완전한 관측에서 완전한 ID 보존 텍스처와 기하를 상상해 내는 작업으로 정의했다. 학습 데이터는 폰 캡처와 다시점 돔에서 정밀하게 추출한 대규모 3D 인간 자산이다.

3) 피드포워드 UV 정제망 — 테스트타임 최적화 없이 미세 정렬

디퓨전이 만든 메시는 그럴듯해 보이지만, 입력 이미지와 픽셀 단위로 살짝씩 어긋난다. 보통 이 어긋남은 인물별 테스트타임 최적화로 보정해 왔는데, FiCA는 그 자리에 U-Net + 크로스 어텐션 구조의 학습된 정제망을 끼워 넣었다.

정제망은 입력 사진과 디퓨전 메시를 렌더링한 이미지에서 Sapiens ViT 인코더로 두 종류의 밀집 시각 특징을 뽑고, UV 텍스처/기하 맵과 크로스 어텐션을 수행해 정제한 UV 맵을 내놓는다. 학습 목적함수는 L1 포토메트릭 손실, 2D 키포인트 손실, 마스크 손실, 그리고 초기 UV에서 너무 멀어지지 않도록 잡아 주는 정규화 항의 가중합이다. 모든 과정이 피드포워드라서 인물별 최적화 단계가 사라진다.

4) 보편 사전 모델(UPM)로 가우시안 디코딩

정제된 텍스처/기하 맵은 UPM의 ID 인코더에 들어가 ID별 bias 맵을 만든다. 디코더는 이 bias 맵과 표정 코드, 시점 벡터, 시선 벡터를 입력으로 받아 3D 가우시안 프리미티브의 위치/색 오프셋, 회전, 스케일, 불투명도를 출력한다. UPM은 Cao 외(2023)와 URAvatar(Li 외 2024)의 설계를 따른 하이퍼네트워크 기반 구조다.

요약하면 단일 사진 → Sapiens 부분 관측 → UV 디퓨전 완성 → 정제망 정렬 → UPM 가우시안의 단방향 흐름이다.

학습/평가 데이터

학습 데이터는 두 종류의 이질적 캡처를 합쳤다.

• 다시점 돔 데이터셋: 1,948 ID(학습 1,932, 테스트 16). 동적 표정 캡처에서 메시 트래킹과 텍스처/기하 UV 언래핑을 수행했다. 인물 사진은 정면 카메라 프레임에서 추출한다.
• iPhone 데이터셋: 12,539 ID(학습 12,439, 테스트 100). 후면 카메라 프레임을 인물 사진으로 쓰고, 모노큘러 영상에서 메시와 UV 맵을 추출했다.

총 14,487 ID, 그중 116 ID가 보지 못한 테스트 셋이다.

비교 실험 — 기존 방법과 어떻게 다른가

정적 아바타 — PanoHead와 비교

PanoHead는 단일 사진에서 풀 3D 머리를 만들지만, 인물별 GAN inversion 최적화에 약 80초가 걸리고, 측면이나 뒷면에서 ghost face와 floater 같은 시각적 인공물이 나타난다. 더 중요한 차이는 PanoHead가 만든 아바타는 표정 파라미터로 움직일 수 없다는 점이다. FiCA는 약 5초로 더 빠르면서 시점 일관성이 좋고, 메시 기반이라 임의의 표정 코드로 실시간 구동된다.

동적 아바타 — GPAvatar, VOODOO 3D, Portrait4D, GAGAvatar와 비교

테스트 ID에 대해 다른 영상의 트래킹된 표정 코드로 zero-shot 애니메이션을 평가했다. 평가 지표는 PSNR, SSIM, LPIPS와 ArcFace 임베딩 코사인 유사도인 ID-CSIM이다(약 1,500 프레임).

PSNR, SSIM, ID-CSIM 세 지표에서 FiCA(3DGS)가 1위였고, LPIPS만 GAGAvatar에 근소하게 졌다.

저자들은 GPAvatar의 인공물이 tri-plane + MLP 표현과 후속 슈퍼레졸루션 모듈에서 온다고 본다. GAGAvatar는 정질이 더 좋지만, 정준 3D 가우시안을 학습된 렌더러로 시뮬레이션하기 때문에 극단적 표정에 일반화하지 못한다는 진단이다. FiCA는 명시적 3D 가우시안을 직접 만들기 때문에 이 두 약점을 모두 비껴간다.

Ablation — 무엇이 차이를 만드는가

100명의 iPhone 캡처 보류 ID에 대해 핵심 설계 요소를 하나씩 더해 가며 측정했다.

RGB UV만으로는 ID가 흔들리고 기하가 어긋난다. 노멀과 정점 UV를 더하면 기하가 정돈된다. CLIP 임베딩이 들어가면 후드 같은 디테일이 살아난다. 마지막으로 피드포워드 UV 정제망을 붙이면 PSNR이 19.738에서 22.282로 크게 뛴다. 네 단계의 기여가 모두 측정 가능하다.

응용 — 피드포워드 아바타 편집

저자들은 한 가지 매력적인 응용을 보여 준다. 사진을 InstructPix2Pix 같은 2D 이미지 편집기로 먼저 스타일라이즈한 뒤, 그 결과를 FiCA에 넣으면 스타일라이즈된 아바타가 그대로 구동 가능한 가우시안으로 떨어진다. 3D 공간에서 휴리스틱 최적화나 매니퓰레이션 없이도 3D 아바타 편집이 2D 편집의 연장으로 풀린다.

한계와 후속 방향

• 극단적 조명이나 모션 블러 같은 입력 사진의 시각적 결함에 약하다. 디퓨전 모델에 학습된 조명 정규화나 블러 보정 능력을 심는 것이 후속 과제다.
• 안경 같은 액세서리는 별도의 레이어드 텍스처/기하 생성이 필요하다. MEGANE(Li 외 2023) 같은 안경 전용 사전 모델과의 결합이 자연스러운 다음 발걸음이다.

가장 흥미로운 지점

내가 가장 눈여겨본 것은 인물별 테스트타임 최적화를 완전히 없앤 부분이다. 단일 사진 기반 3D 아바타 생성 흐름은 지난 수년간 GAN inversion이나 score distillation처럼 어떤 식으로든 테스트타임 최적화 단계를 끌고 다녔다. 그 단계가 품질을 좌우했고, 동시에 분당 단위의 지연을 만들어 왔다.

FiCA는 그 자리에 학습된 정제망 하나를 넣는 단순한 선택으로 문제를 풀었다. Sapiens ViT 인코더의 풍부한 시각 특징과 U-Net + 크로스 어텐션이라는 잘 알려진 구조의 조합이다. Ablation 표에서 정제망 한 줄이 PSNR을 2.5dB 가까이 끌어올린 것을 보면, 디퓨전이 만들고 남긴 그 약간의 어긋남을 잡아 주는 일이 곧 ID 보존의 핵심이었다는 해석이 자연스럽다.

또 하나는 모듈을 하나도 새로 발명하지 않은 시스템 디자인이다. Sapiens, CLIP, DiT 디퓨전, U-Net 정제망, UPM 디코더는 각각 다른 팀이 다른 목적으로 만든 부품들이다. FiCA의 기여는 이들을 한 방향으로 흐르게 연결하고, 데이터(약 1만 5천 ID)로 끝까지 채운 데에 있다. 피드포워드 단방향이라는 제약을 끝까지 지킨 덕분에 5초라는 추론 시간이 가능해졌고, 그 시간이 곧 사용 시나리오의 확장으로 이어진다. 텔레프레전스, VR 아바타, 라이브 스트리밍처럼 지연이 가치의 일부인 영역에서 의미 있는 진전이다.

출처

• Kim Youwang, Zhengyu Yang, Liuhao Ge, Yu Rong, Timur Bagautdinov, Su Zhaoen, Nir Sopher, Jovan Popović, Teng Deng, Tae-Hyun Oh, Chen Cao (2026). FiCA: Feed-forward Instant Gaussian Codec Avatars from a Single Portrait Image. arXiv:2606.24232.
• 원문: https://arxiv.org/abs/2606.24232
• 프로젝트 페이지(예정): https://kim-youwang.github.io/FiCA
• 보조 영상: https://youtu.be/oIW3ZooWaQw
• 그림은 모두 arXiv HTML 버전(https://arxiv.org/html/2606.24232v1)에서 인용했다.