https://seosoyoung.eiaserinnys.me/subjects/%EB%B9%84%EC%A0%84%EA%B3%BC-%EC%83%9D%EC%84%B1-%EB%AA%A8%EB%8D%B8/Recent content in 비전과 생성 모델 on 서소영의 서재HugokoSat, 17 Oct 2026 23:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/dense4d-4d-human-correspondence/Sat, 17 Oct 2026 23:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/dense4d-4d-human-correspondence/Imperial College London의 Rıza Alp Güler가 사전 정의된 신체 템플릿이나 카메라 포즈 추정 없이 단안 RGB 이미지들에서 신체, 의복, 머리카락의 픽셀 단위 4D 대응 관계와 3D 궤적을 한 번의 순전파로 복원하는 Dense4D를 공개했다. 인물 중심 가상 카메라 크롭에서 기준 시점의 3D 표면 좌표를 예측하는 인간 포인트 맵(HPM)을 도입해 Panoptic Studio 3D 추적과 4D-DRESS 비가시 영역 위치 추정에서 기존 비교 모델들보다 성능이 크게 높았다.https://seosoyoung.eiaserinnys.me/digest/iris-3b-turbo-lora/Mon, 12 Oct 2026 13:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/iris-3b-turbo-lora/Speridlabs가 공개한 30억 파라미터 이미지 생성 모델 Iris-3B는 VAE 없이 픽셀을 직접 만든다. 대신 기본 설정에서는 1024×1024 이미지 한 장에 포워드 패스가 약 200번 필요했다. 일본 개발자 pentacoxian은 증류 기법 DMD2로 CFG의 효과까지 학습한 4스텝 LoRA를 만들어 생성 시간을 RTX 5090에서 0.68초, M3 Max에서 약 11초로 줄였다. 공개 하루 동안에는 사용자들이 RTX 5090, 아이폰, 스냅드래곤 NPU에서 실행한 결과를 올렸다.https://seosoyoung.eiaserinnys.me/digest/amadeus-annotation-free-tracking/Mon, 05 Oct 2026 22:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/amadeus-annotation-free-tracking/메이지대학과 도쿄대학 연구진이 공개한 동물 추적 소프트웨어 AMADEUS는 사람이 라벨을 하나도 달지 않아도 여러 동물의 개체 번호와 머리 방향을 함께 추적한다. 혼자 떨어진 개체의 모습을 오려 붙여 겹침 장면을 합성하고 그 이미지로 탐지기를 학습한다. 연구진이 쥐 10마리 영상부터 개미 368마리 영상까지 여섯 편으로 성능을 비교한 결과, AMADEUS의 개체 추적 점수는 유효한 결과를 낸 비교 도구보다 모두 높았다.https://seosoyoung.eiaserinnys.me/digest/odyssey-agora-2/Fri, 25 Sep 2026 13:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/odyssey-agora-2/Odyssey가 사람과 에이전트 최대 20명이 한 생성 세계를 함께 쓰는 멀티에이전트 월드 모델 Agora-2를 플레이 가능한 연구 프리뷰로 공개했다. 약 446만 파라미터의 시뮬레이션 모델이 공유 월드 상태를 갱신하고, 약 10억 파라미터의 렌더링 모델이 그 상태를 조건으로 플레이어마다 화면을 따로 생성한다.https://seosoyoung.eiaserinnys.me/digest/optical-generative-models/Fri, 18 Sep 2026 15:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/optical-generative-models/UCLA 연구진이 이미지 합성의 계산 단계를 빛의 전파로 대체했다. 얕은 디지털 인코더가 가우시안 잡음을 위상 패턴으로 바꿔 두면, 회절 디코더가 한 번의 조명만으로 목표 분포를 따르는 새 이미지를 만들어 낸다. 디지털 확산 모델을 교사로 삼아 증류했고, 반 고흐풍 작품까지 실제 가시광 장치에서 생성했다.https://seosoyoung.eiaserinnys.me/digest/flybrain-robot-bridge/Tue, 15 Sep 2026 10:20:00 +0900https://seosoyoung.eiaserinnys.me/digest/flybrain-robot-bridge/초파리 커넥톰을 로봇에 잇겠다는 이름을 달고 공개된 실험 리포지터리다. 지금 돌아가는 것은 사람이 손으로 설계한 여덟 개 신호 그룹이고, 정작 커넥톰 백엔드는 호출하는 순간 미구현 예외를 던지도록 만들어져 있다.https://seosoyoung.eiaserinnys.me/digest/4danyone-monocular-4d-human/Mon, 31 Aug 2026 18:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/4danyone-monocular-4d-human/휴대폰으로 대충 찍은 단안 영상 한 편에서 자유 시점 4D 인간을 복원한다. 시점 수를 수십 개로 늘리면 일관성이 무너지던 원인을 어텐션 컨텍스트 용량 한계로 규명하고, 참조 컨텍스트 압축과 타깃 그룹 회전이라는 두 설계로 푼다.https://seosoyoung.eiaserinnys.me/digest/lumera-engine-native-3d-scene/Mon, 31 Aug 2026 08:40:00 +0900https://seosoyoung.eiaserinnys.me/digest/lumera-engine-native-3d-scene/사진 한 장에서 UE5나 Blender가 그대로 불러올 수 있는 오브젝트와 광원을 뽑아내는 벤치마크 Lumera. 3D 박스 파싱은 기존 방법을 크게 앞섰지만, 개별 광원의 위치 추정은 F1 0.209에 머물러 있다.https://seosoyoung.eiaserinnys.me/digest/motion-blur-past-present-future/Wed, 19 Aug 2026 07:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/motion-blur-past-present-future/흔들린 사진 한 장을 사전학습 비디오 확산 모델에 조건으로 넣어, 셔터가 열려 있던 순간의 영상과 그 직전과 직후까지 생성한다. 요크대학교와 토론토대학교 연구진의 SIGGRAPH Asia 2025 논문.https://seosoyoung.eiaserinnys.me/digest/polylayout-multiroom-manhattan/Wed, 19 Aug 2026 07:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/polylayout-multiroom-manhattan/여러 장의 실내 사진에서 방의 벽·바닥·천장을 3D 다각형으로 복원하는 ECCV 2026 논문. 방을 하나씩 따로 풀지 않고 건물 안의 방들이 같은 방향과 같은 층고를 공유한다는 구조를 최적화에 넣어, 직육면체 가정에 묶여 있던 기존 방법을 큰 폭으로 앞선다.https://seosoyoung.eiaserinnys.me/digest/litereality-agent/Sun, 09 Aug 2026 13:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/litereality-agent/아이폰 LiDAR 스캔 한 번을 편집 가능한 3D 실내 씬으로 바꾸는 오픈소스 에이전트 시스템. 씬 전체를 하나의 파이썬 프로그램으로 두고, 에이전트가 raw 메시가 아니라 코드를 고쳐 가며 실제 촬영본에 맞춰 나간다.https://seosoyoung.eiaserinnys.me/digest/gnm-generative-anthropometric-model/Wed, 15 Jul 2026 22:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/gnm-generative-anthropometric-model/구글이 공개한 3D 통계 인체 모델 생태계 GNM. 첫 릴리스인 GNM Head는 3D 스캔 데이터로 학습한 고정밀 얼굴·머리 파라메트릭 모델로, 정체성·표정·포즈를 분리 제어하고 눈·치아·혀 같은 내부 구조까지 다룬다.https://seosoyoung.eiaserinnys.me/posts/attention-image-objectives/Fri, 10 Jul 2026 15:40:00 +0900https://seosoyoung.eiaserinnys.me/posts/attention-image-objectives/눈길을 끄는 이미지를 예측하고 만드는 연구는 한 덩어리처럼 보이지만 시선과 기억, 미감, 클릭 네 갈래로 갈라져 있다. 그중 예쁨과 클릭은 산업 데이터가 이미 갈라놓은 서로 다른 목적함수다.https://seosoyoung.eiaserinnys.me/digest/shen-2024-gvhmr-gravity-view/Wed, 01 Jul 2026 12:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/shen-2024-gvhmr-gravity-view/Shen 외(Zhejiang Univ., SIGGRAPH Asia 2024)가 단안 비디오에서 세계 좌표계 기반 인간 동작을 복원하는 방법을 제시한다. 각 프레임마다 중력 방향과 카메라 시선으로 유일하게 정의되는 Gravity-View 좌표계에서 자세를 예측해 자기회귀 오차 누적을 없애고, RoPE 트랜스포머로 45초짜리 1430프레임 시퀀스를 0.28초에 처리한다. RICH·EMDB 벤치마크에서 세계 좌표 W-MPJPE를 WHAM 대비 31% 낮췄다.https://seosoyoung.eiaserinnys.me/digest/goslin-2026-infinite-diffusion-terrain/Fri, 26 Jun 2026 10:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/goslin-2026-infinite-diffusion-terrain/Alexander Goslin이 SIGGRAPH 2026에 발표한 InfiniteDiffusion과 Terrain Diffusion. diffusion 모델을 학습 없이 무한하고 결정적이며 O(1) random access가 가능한 형태로 재구성하고, 그 위에서 지구 규모 지형을 consumer GPU로 실시간 생성한다.https://seosoyoung.eiaserinnys.me/digest/kim-2026-fica-codec-avatars/Thu, 25 Jun 2026 10:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/kim-2026-fica-codec-avatars/Meta와 POSTECH이 인물 사진 한 장에서 5초 안에 실시간 구동 가능한 3D 가우시안 코덱 아바타를 만들었다. Sapiens 파운데이션 모델, UV 공간 디퓨전, 피드포워드 정제망, 보편 사전 모델을 차례로 잇는 완전한 피드포워드 파이프라인이다.https://seosoyoung.eiaserinnys.me/digest/nvidia-motionbricks-2026/Mon, 15 Jun 2026 13:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/nvidia-motionbricks-2026/NVIDIA가 SIGGRAPH 2026 / ACM TOG에 발표한 실시간 모션 생성 프레임워크. 35만+ 모션 클립을 단일 신경 backbone으로 학습해 2ms 지연·15,000 FPS로 생성한다. UE5 게임 캐릭터와 Unitree G1 휴머노이드 로봇이 같은 모델 위에서 움직이는 것이 핵심 시연이다.https://seosoyoung.eiaserinnys.me/digest/scail2-zai-2025/Tue, 09 Jun 2026 23:30:00 +0900https://seosoyoung.eiaserinnys.me/digest/scail2-zai-2025/Z.ai가 공개한 SCAIL-2는 포즈 스켈레톤·인페인팅 마스크 같은 중간 표현을 거치지 않고 driving 비디오 latent를 시퀀스에 직접 이어 붙여 캐릭터 애니메이션을 end-to-end로 합성한다. 60K motion pair 데이터셋, in-context mask conditioning, mode-specific RoPE, Bias-Aware DPO를 결합하여 동물 driving과 egocentric 같은 제로샷 능력까지 끌어냈다.https://seosoyoung.eiaserinnys.me/digest/sana-video-world-model/Sat, 16 May 2026 10:00:00 +0900https://seosoyoung.eiaserinnys.me/digest/sana-video-world-model/NVIDIA Labs가 공개한 2.6B 오픈소스 비디오 월드 모델 SANA-WM. 프로젝트 페이지의 데모 갤러리와 본 논문(arXiv 2605.15178)의 method·벤치마크 디테일을 함께 정리한다.https://seosoyoung.eiaserinnys.me/digest/tuna-2-encoder-free-multimodal-2026/Wed, 29 Apr 2026 04:35:00 +0900https://seosoyoung.eiaserinnys.me/digest/tuna-2-encoder-free-multimodal-2026/Meta AI가 발표한 Tuna-2는 VAE도 비전 인코더도 없이 단순 패치 임베딩만으로 이미지 이해와 생성을 동시에 수행한다. CVPR'26 Highlight 논문이 던지는 메시지는 명확하다 — 사전훈련 비전 인코더는 멀티모달 모델링에 필수가 아니다.https://seosoyoung.eiaserinnys.me/posts/ducttape-and-loop/Thu, 23 Apr 2026 01:00:00 +0900https://seosoyoung.eiaserinnys.me/posts/ducttape-and-loop/+242점, 모든 카테고리 #1, 그리고 ‘Ducttape’라는 코드네임. 다섯 조각의 단서를 엮으면 하나의 가설이 떠오른다 — GPT Image 2는 새 아키텍처의 산물이 아니라, 기존 백본에 루프를 덧대어 컴퓨팅으로 밀어붙인 외과수술의 결과다.