[Paper Review, KR] SeeU: Seeing the Unseen World via 4D Dynamics-aware Generation

Paper Information
Title: SeeU: Seeing the Unseen World via 4D Dynamics-aware Generation
Authors: Yu Yuan, Tharindu Wickremasinghe, Zeeshan Nadir, Xijun Wang, Yiheng Chi, Stanley H. Chan
Venue: CVPR 2026
Link: [Paper], [Project], [GitHub]

Teaser Image

Introduction

“Image와 Video는 실제 세상(4D)의 2D projection 이다.” 라고 논문의 저자들은 말한다.

많은 최근 연구들은 dynamic을 낮은 차원의 latent space를 통해 학습하며, 이는 computational efficiency라고 말한다. 그러나, 이는 한계점을 가진다:

1. 4D 자체의 정보를 2D로 바꾸는 것은 가장 중요한 3D 구조 정보 손실로 이어진다.
2. Camera pose가 변하는 것은 scene motion의 복잡도를 높인다.

이로인해 model들은 2D visual pattern만을 학습하기 때문에 3D나 물리적인 supervision이 없어 3D geometry와 물리적 dynamics를 표현하거나 파악하기 어렵다.

그래서 SeeU의 저자들은 pipeline을 크게 2D \(\rightarrow\) 4D \(\rightarrow\) 2D 방식으로 설계하여 4D dynamics를 처리하고 visual generation을 하고자 한다.

Method & Technical Details

해당 이미지를 간단하게 overview로 보면, (i) 2D \(\rightarrow\) 4D, (ii) Discrete 4D \(\rightarrow\) Continuous 4D, (iii) 4D \(\rightarrow\) 2D 로 진행된다. 자세한건, 계속 설명하겠다.

먼저, Input을 보자:

\[\{I_t \in \mathbb{R}^{H \times W \times 3}\}\]

이는 동적 장면에 대한 monocular frame sequence를 사용한다는 것을 의미한다.

1st stage: 2D \(\rightarrow\) 4D

Shape-of-Motion(개념 필수)

해당 논문의 저자들은 ICCV 2025 논문 중에서 “Shape of Motion: 4D Reconstruction from a Single Video”라는 실제 선행기법을 가져와서 사용하기로 한다. 이에 대한 이유로,

1. camera parallax(카메라 시차)가 작아도 동작이 가능하며,
2. static region과 trackable dynamic element를 분리할 수 있기 때문

이라고 설명한다.

여기서 내가 앞서 overview figure를 말하면서 2D \(\rightarrow\) 4D dynamic scene reconstruction 부분이 제일 먼저 진행된다고 했는데, 이 부분에서 해당 선행 기법이 사용된다.

추가적으로 SoM 논문은 따로 또 post에 올리도록 하겠다.

일단 이 논문을 이해하기 위해서 SoM을 설명하면, “monocular 비디오로부터 카메라 움직임뿐 아니라 장면 내부 물체들의 3D motion trajectory까지 복원하는 4D reconstruction 방법”이다.

보통 정적인 3D reconstruction 방법이라면:

\[\text{3D point} = (x,y,z)\]

하나를 구하면 되지만, 움직이는 장면 같은 경우에는

\[x_i(t) = (x_i(t), y_i(t), z_i(t))\]

처럼 시간에 따라 3D 위치가 변하는 것도 표현해야 한다.

그럼 SeeU가 이 기법을 사용해서 4D reconstruction을 진행하는 방식을 설명하자면,

\[I_0, I_1, ... , I_T\]

라는 monocular video 여러 frame을 입력으로 받아, MegaSaM이라는 모델을 이용해서 각 frame의 camera intrinsics, camera extrinsics, depth map을 얻을 수 있다. 각 frame t 마다

\[C_t = (K, R_t, t_t)\]

와

\[D_t(u,v)\]

를 얻을 수 있다. 여기서, u랑 v는 픽셀 위치를 2D coordinates로 표현한 것이다.

이 정보들을 얻으면 \((u,v)\) 를 3D position인 \((X,Y,Z)\)로 lift할 수 있다. 즉, back-projection할 수 있다는 소리다. 다음으로, Track-anything으로 moving foreground mask를 얻는다. static background와 dynamic foreground를 나눈다는 뜻이다.

가장 중요한 부분으로, TAPIR 이라는 모델을 사용해서 동일한 point를 여러 frame에서 tracking한다.

만약 어느 pixel을 tracking한다고 한다면,

\[p_0 = (320,320)\]

이 다음 frame에서

\[p_1 = (330, 250)\]

에 위치한다면 우리는 2D trajectory를 얻을 수 있게 된다. 그러나, 이는 image plane에서의 2D motion 이다. 그렇다면, 3D trajectory를 얻기위해 앞에서 camera pose 정보와 depth 정보를 사용해서 2D trajectory를 3D trajectory로 변환한다. 즉,

\[(u_t, v_t, D_t(u_t, v_t))\]

를 이용해서 3D point로 back-project할 수 있다.

\[p_t^{2D}\]

가

\[X_t^{3D}\]

가 되도록 한다. 그러나, 하나의 scene 안에 많은 Gaussian들이 있을텐데, 이 모두에 \(T_i(t)\)라는 독립적인 motion trajectory를 학습하면 비효율적이다. 따라서 SoM은 motion basis라는 concept를 내민다. 이 motion basis는 수천, 수만 개의 point들이 각각 움직이는 게 아니라 하나의 motion basis를 공유하여 비슷한 transformation을 공유하도록 하는 것이다. 따라서, 각 point들이 그룹을 지어서 공통 motion structure를 가진다고 생각하면 된다.

SoM은 전체 motion을 몇 개의 motion basis로 압축한다. SeeU에서는 다음과 같이 표현한다:

\[P_t^i = P_0^i + B(t)w_i\]

여기서 \(P_t^i\)는 Gaussian i의 시간 t에서의 상태를 말한다. 즉, 해당 식은 Gaussian i의 초기상태에 shared motion basis와 가중치의 곱을 더해서 특정 t 시간대의 Gaussian i의 상태를 표현하는 것이다. 여기서, 가중치는 shared motion basis를 어떻게 조합할 지 결정하는 역할을 한다. 즉, 물체를 hard하게 분류할 필요 없이 적절히 조합할 수 있는 soft motion decomposition을 가능케 한다.

여기까지 보면, 왜 SoM이 Shape-Of-Motion 이라는 이름을 가진지 대충 유추 가능하다. 수많은 point가 복잡하게 움직이는 것처럼 보여도 실제 3D motion은 few motion bases로 설명되는 low-dimensional structure를 가지고 있다고 보는 것이다.

여기까지가 SoM의 기본 설명이다. 다음으로 SeeU가 진행한 방식을 설명하겠다.

SoM으로 수행하게되면 기본적으로 관측된 frame마다 discrete한 motion state를 얻게 된다: 예를 들어, 하나의 point가 \(t=0, 1, 2, 3\)에서

\[B_0, B_1, B_2, B_3\]

를 얻게 된다고 하자.

근데 우리는 \(t = 1.37, -0.5, 5.2\) 등 보지 못한 임의 시간에서의 motion도 알고 싶을 수 있다. 이에대해, SeeU는 C4DD라는 기법을 고안한다.

C4DD 기법은 기존에 SoM이 Discrete motion bases로 만들었다면, 이를 사진과 같은 continuous B-spline으로 만드는 것을 의미한다. B-spline은 컴퓨터 그래픽스에서 많이 사용되는 연속 함수 중 하나다. 알아두면 좋다.

그러면, SeeU는 전체적으로 보자면:

discrete 3D point trajectory에서 Procrustes analysis로 motion basis를 초기화하고 photometric reconstruction error로 refine한 다음(SoM), 그 다음 SeeU는 이것을 B-spline으로 continuous function으로 바꾸게 된다.

저자들은 또한 시간에 따라 지속되는 canonical 3D Gaussian set \(\{g_i^0\}_{i=1}^N\)으로 표현하고, 매개변수화를 아래처럼 표현한다:

\[g_i^0 = (\mu_i^0, R_i^0, s_i, o_i, c_i)\]

여기서 \(\mu\)는 canonical mean, \(R\)은 canonical orientation, \(s\)는 scale을, \(o\)는 opacity를, \(c\)는 color을 나타낸다. 차례대로, 각 매개변수는 하나의 가우시안을 표현할 때 가우시안의 위치 평균, 회전, 크기, 불투명도, 색상 역할을 맡는다고 생각하면 된다(3D, 4D vision에서 3D gaussian splatting 기법이 사용된다면 필수로 나오는 매개변수들이니 꼭 알고 있기를 바란다).

자 이제, gaussian이 프레임의 흐름에 따라 변화하는 것도 표현할 수 있어야 한다. per-frame rigid transformation 을 통해서:

\[T_{0 \rightarrow t} = [R_{0 \rightarrow t} , t_{0 \rightarrow t}] \in SE(3)\]

frame 0에서 t의 변화는 rotation과 translation matrix를 통해 표현이 가능하다:

\[\mu_i^t = R_{0 \rightarrow t}\mu_i^0 + t_{0 \rightarrow t},\; R_i^t = R_{0 \rightarrow t}R_i^0\]

입력 프레임에 대해 MegaSaM이라는 모델로 카메라 내부, 외부 파라미터, 그리고 프레임 별 depth를 추정하고, Track-anything 이라는 모델로 dynamic foreground의 mask를 획득하고, TAPIR이라는 모델로 2D point track을 추출하여 프레임 수준의 camera pose 및 전경 가우시안 속성 \(P\)를 출력한다.

2nd stage: Discrete 4D \(\rightarrow\) Continuous 4D

이제 Discrete 4D 를 Continuous 4D로 바꾸는 과정을 거쳐야 한다.

일단 여기서, 두 가지 표현을 정의하고자 한다. 앞서 1 stage에서 얻은 camera pose와 전경 가우시안의 속성을 아래와 같이 표현한다:

\[C_t,\; P_t^i\]

그리고 해당 논문은 이를 지적한다:

1. 하나의 scene에 수만 개가 넘는 각각의 가우시안들에 개별적으로 3D trajectory를 학습시키는건 매우 비효율적이다.
2. 복원된 trajectory는 smooth 해야하며, 물리적으로 타당해야한다.

이 중에서 첫 번째 challenge를 해결하기 위해 내가 앞에서 설명한 Shape-Of-Motion 기법을 가져와서 해당 논문 저자들은 사용한다. 간단하게 말하면, 각 가우시안에 개별적으로 motion을 주입하는 방식이 아니라, 가우시안들이 공유하는 global motion basis를 사용하게 하는 것이다. 이 방식을 논문에서는 low-rank motion parameterization이라고 표현한다.

그러면 우리는 foreground gaussian의 property를 다음과 같이 표현할 수 있다:

\[P_t^i = P_0^i + \underbrace{B(t)}_{\in \mathbb{R}^{m \times K}} \underbrace{w_i}_{\in \mathbb{R}^{K}}, \;\;\;\; P_0^i,\; P_t^i \in \mathbb{R}^m\]

여기서 \(B(t)\)는 global motion basis functions의 집합이고, \(w_i\)는 가우시안 i에 대한 시간 불변 계수 벡터다. 이를 통해, N개의 서로 다른 궤적을 직접 학습하는 대신, 공유되는 K개의 기저 함수 \(B(t)\)를 통해 각 가우시안은 몇 개의 coefficients 만으로 조밀하게 표현된다.

이 이산적인 motion basis들은 Procrustes analysis를 통해 3D 포인트 궤적들로부터 초기화된 후에, photometric reconstruction error를 최소화함으로써 점차 정교해진다(자세한 SoM의 흐름은 위에 Shape Of Motion을 눌러 자세히 살펴보기를 바란다).

이렇게 첫 번째 challenge를 통해 효율적으로 3D trajectory를 계산할 수 있게 되었다.

그러면 두 번째 challenge를 해결하기 위해 논문의 저자들은 continuous representation 해야한다. 저자들은 이 기법을 Continuous 4D Dynamics Model (C4DD)이라고 표현한다. 저자들이 사용하는 continuous function은 B-spline basis function이다:

\[\hat{B}_t = \sum_{j=1}^M N_{j,d} (t) q_j\]

여기서 \(N_{j,d}\)가 B-spline basis function 이고, \(q_j\)는 motion basis를 위한 학습 가능한 control point다. 이 control point 개수 \(M\)은 곡선의 표현 capacity를 제어한다. \(M\)이 클수록 풍부한 시간적 표현을 담아낼 수 있는 반면에, \(M\)이 작으면 smoothness와 regularization 효과를 보여준다.

해당 이미지를 보면 파란색 선 위에 점이 있는 게 보일 것이다. 이 곡선 외부에 있는 가상의 점을 움직이면 해당 영역의 곡선의 모양을 변경할 수 있다. 그렇다면 이 논문에서 설명하는 \(M\)의 개수는 실제 곡선의 모양을 결정하는 곡선 외부의 점 즉, control point의 개수를 말한다고 보면 된다. 이는 컴퓨터 그래픽스에서 자주 등장하는 개념이다.

학습 동안, shared motion basis의 B-spline control points와 Camera trajectory의 B-spline Control points는 이 objective function을 통해 optimization 된다:

\[L_{total} = L_{data} + \lambda_{phys} L_{phys}\]

data term은 C4DD가 추정한 motion basis와 첫 번째 challenge에서 확보한 discrete 관측값 사이의 일관성을 강제한다:

\[L_{data} = \sum_{t \in \mathcal{T}_{obs}} \lVert \hat{B}_t - B_{obs}^t \rVert_2^2\]

여기서 \(B_{obs}^t\)는 t에서 관측된 discrete motion basis(Procrustes analysis를 통해 추출하고 photometric loss를 통해 refine된)를 나타내고, \(\hat{B}_t\)은 B-spline 매개변수화로부터 평가된 C4DD의 예측값이다. \(\mathcal{T}_{obs}\)는 관측된 시간대로 눈으로 실제로 관찰한 프레임들의 실제 시점들이다.

physics term은 해당 수식의 각 항의 가속도를 줄이는 역할을 수행한다:

\[L_{phys} = \mathbb{E}_{\tau_{ex}(t)} [\lVert \ddot{MB}_{trans}(t) \rVert_2^2 + \lVert \ddot{CAM}_{trans}(t) \rVert_2^2 + \mathbb{I}_{rot} \lVert \ddot{CAM}_{rot}(t) \rVert_2^2]\]

여기서 \(\ddot{MB}_{trans}(t)\)와 \(\ddot{CAM}_{trans}(t)\)는 각각 motion basis와 camera trajectory에서 translational component에 대한 2차 미분(가속도)를 최소화하도록 한다. 즉, 등속도나 smooth하게 움직이는 것으로 강제한다. 그리고, \(\ddot{CAM}_{rot}(t)\)는 camera trajectory에서 회전 가속도를 최소화하도록 하는 것이며, \(\mathcal{I}_{rot} \in \{0,1\}\)의 경우, 카메라 회전이 거의 없는 단순한 scene에서 이 제약을 끌 수 있도록하는 장치다.

추가적으로 \(\mathbb{E}_{\tau_{ex}(t)} [...]\) 는 외삽 가중치 기대값으로, 비디오로 실제로 관측하지 않은 과거 혹은 미래 영역의 시간대인 외삽에서 \(\tau_{ex}(t)\)인 가중치 함수를 통해 시간적으로 멀어질수록 가중치가 훨씬 더 무겁게 커지도록 설계되어있는 것을 말한다. 여기서 기대값인 가중평균 연산을 통해 진행한다.

3rd stage: 4D \(\rightarrow\) 2D

이렇게 2 stage가 끝난 후, 2D video로 projection하는 과정을 거쳐야 한다.

여기서, scaffold video는 occlusion region이 존재할 수 있으며, 투영된 가우시안들이 낮은 신뢰도를 보이거나 물체 경계 및 가려짐 등이 나타날 수 있다.

이를 해결하기 위해 해당 논문은 비디오 생성 모델의 spatial-temporal in-context 능력을 활용해서 프레임을 복원한다. VLM으로부터 얻어낸 구조화된 prompt(scene에 대한 caption), 2 stage에서 만든 4D scene을 2D 로 projection한 프레임들, 그리고 그 프레임들에서 occlusion이 일어난 영역에 대한 inpainting mask들. Context Encoder는 이런 정보들을 맞아 context embedding을 생성하고, 이를 pretrained 된 video generator에 주입한다. 이를 통해 Unseen frame에 대한 결과물을 도출한다.

이제 figure 3를 보면은 명쾌히 이해가 가능하다. 이 논문은 결국

sparse한 비디오 입력을 받아 4D scene으로 reconstruction 하여 physical 그리고, 3D geometry를 consistent를 유지하는 상태에서 video generator가 과거 혹은 미래 혹은 sparse 비디오 frame을 제외한 여러 시점에서의 frame을 생성할 수 있도록 도와주는 pipeline을 만든 것

사실 논문에는 “2. Why model Continuous Dynamics in 4D”라는 섹션이 method 섹션 전에 존재하는데, 이 리뷰를 쓰는 저자는 method를 읽고 해당 섹션을 읽으면 이해가 더 잘 됐다.

1. 기존의 비디오 생성모델들은 3D 공간 표현이 없기 때문에, 카메라 시점이 바뀌거나 물체가 물체 뒤로 숨는 occlusion 현상이 발생하면 형태가 이상해지거나 입체감이 깨진다. 추가적으로, video 생성 모델들은 이전 프레임에 있던 픽셀들을 온전하게 저장하지 못한다. 그런데 3D 공간에 놓인 가우시안들은 3D 공간 표현 아래 계속 유지되므로 최적화를 잘하면 여러 카메라 시점에서도 일정한 geometry를 가질 수 있다(왜 많은 novel view synthetic 방식의 video generation 논문들이 point cloud나 3DGS를 사용하는지 어렴풋이 이해가 간다.).
2. 2D 화면 상에서 움직임을 추적하면 원근법과 카메라 흔들림 때문에 궤적이 매우 복잡하지만, 원래 4D(3D) coordinates에서 바라보면 물리 법칙 때문에 움직임이 훨씬 단순하고 규칙적이다. 그리고 C4DD 기법을 사용하면 연속적인 과정으로 이를 표현할 수 있어 임의의 시점을 자연스럽게 채울 수 있다.
3. 카메라의 움직임 그리고 객체의 움직임 등의 변화가 2D 비디오에서는 분리되어 있지 않고 종속적이기 때문에 안정적인 기준 좌표계가 없다. 그렇기 때문에 학습이 어려운데, SeeU의 경우에는 깊이 추정과 트래킹 기법을 활용해서 Background와 foreground로 나누고, 카메라 포즈를 물리적으로 분리한다.

이렇기 때문에 SeeU는 파이프라인을 위와 같이 설계했다고 보면 된다.

Experiments

Datasets & Training details

논문의 저자들은 자체적으로 촬영한 영상 및 오픈 공개 소스에서 수집한 45개의 동적인 장면을 통해 평가를 진행한다:

1. 비디오 포인트 추적 벤치마크인 TAP-vid
2. 고프레임 rate 데이터셋인 I2-2000FPS
3. robotics video set인 AgiBot World
4. Animal Kingdom dataset

해당 공개 소스 데이터셋들을 활용한다.

이들은 NVIDIA A100 (80GB) GPU 1개를 사용하며, Adam optimizer를 사용해 최적화한다. 이외에도 1st stage, 2nd stage, 3rd stage에 관련한 training detail들은 직접 논문을 확인하길 바란다.

Results

Temporally Unseen Generation 을 평가하기 위해서 Table 1을 보는 것과 같이 Past frame, Dynamic Frame Interpolation(frame과 frame 사이), Future frame을 inference하고 PSNR, SSIM, LPIPS, C-LPIPS 지표들을 사용하여 평가하였다. 그리고, past, dynamic, future을 모두 종합적으로 inference하는 모델이 없어 dynamic, future를 각각 inference 하는 모델 InterpAny, Wan2.2, Cosmos를 기존 SOTA 모델로써 평가했다.

또한, SoM과 VACE는 각각 기존 연구들의 기법이지만, 과거 frame, frame interpolation, 미래 frame을 처리할 수 있도록 확장하여 진행하였다. VACE의 경우에는 Unseen 프레임들을 마스킹 처리하여 전체 시간 범위를 복원할 수 있도록 확장하고, SoM의 경우에는 motion 추정을 linear interpolation으로 linear extrapolation 기법을 결합해서 전체 시간 범위를 복원할 수 있도록 억지로 확장하였다.

SeeU는 훨씬 더 강력한 연속 시간 역학 인지(continuous-time dynamics awareness)와 3D 기하학적 해석 능력을 보여주었다.

또한 figure 4를 보기에도 SeeU는 훨씬 더 강력한 연속 시간 역학 인지(continuous-time dynamics awareness)와 3D 기하학적 해석 능력을 보여주었다.

추가적으로 figure 5를 보면 새로운 insight를 확인할 수 있는데, 과거 50%, 미래 50% 영역 즉, 외삽된 영역에서 시간적 거리가 멀어짐에따라 정확도가 선형적으로 감소하는 것을 확인할 수 있었다.

Spatially Unseen Generation을 평가하기 위해 Table 2을 보는 것과 같이 여러 카메라 제어 방식을 각각 카메라 제어가 가능한 비디오 모델인 GCD, ReCamMaster 과 비교하였다.

table 2를 보았을 때, SeeU가 모든 베이스라인보다 더 높은 기하학적 정확도(EE 및 EIR)와 장면 일관성(CLIP-V)을 달성함을 보여주며, Figure 6를 보았을 때 SeeU가 더 풍부한 장면 디테일을 렌더링할 수 있는 능력을 갖추고 있음을 보여준다.

Table 3를 보다시피, ablation study는 3개의 방향으로 진행되었다:

1. B-spline parameterization 을 plain MLP layers로 바꾸는 것
2. physics loss weight \(\lambda_{phys}\) 를 0으로 바꾸어 해당 physics loss term의 효과 제거
3. sparse한 frame 수를 5, 10, 15, 20 개로 여러 input frame 수를 조절하여 실험

Table 3를 보다시피, 먼저 continuous dynamics를 위한 B-spline의 inductive bias는 smoothness와 physical consistency 측면에서 장점을 가짐을 볼 수 있다. 그리고, physics loss term도 continuous dynamics를 안정화하는데 도움을 주는 것으로 보이며, input frame 수가 점점 sparse 해지더라도 robust하게 성능을 유지하는 것이 보인다(지금 이 논문을 리뷰하는 내가 보기에는 table 1의 모델들의 input condition을 비교해봐야 정확히 frame에 대한 장점이 있는지 확인이 가능할 것 같다).

Contributions

1. 2D Projection 이미지로부터 연속적인 4D Dynamics을 직접 학습하여 보이지 않는 시공간 영역(과거/미래/새로운 시점)을 생성하고 비디오를 정교하게 편집할 수 있는 새로운 개념인 ‘SeeU’를 제안했다.
2. 2D 입력 데이터로부터 4D 물리 역학을 명시적으로 학습한 뒤 다시 고품질 2D 비디오 콘텐츠를 재투영해 내는 학계 최초의 ‘2D \(\rightarrow\) 4D \(\rightarrow\) 2D’ 학습 프레임워크 패러다임을 정립했다.

Limitations & Future works

해당 논문의 input 데이터들은 전경의 움직임과 camera pose의 변화가 smooth하고 명확한 것들을 기준으로 진행하였다. 즉, 전경이 농구 선수들처럼 매 순간 빠르게 변화하거나 변칙적이지 않으며 camera 시점의 변화가 극적이지 않기 때문에 완전한 out-of-distribution에서는 문제가 있을 것이라고 본다.