MarvelCode

✔️ Project page : https://cotracker3.github.io/

✔️  Practice link : https://huggingface.co/spaces/facebook/cotracker

➡️ Abstract

➡️ Introduction & Related Work

Point Tracking은 정밀한 재현력이 필요한 영상 편집이나 3D Reconstruction과 같은 같은 작업을 위한 주요 과정중 하나이다. 최근에는 PIPs의 영감을 받아 Transformer 네트워크 구조를 기반으로 급격히 발전하고 있다. 

관련 선행 연구로는 Point Tracking 분야를 위한 벤치마킹을 만들고 제공한 TAP-Vid, PIPs의 구조를 개선하고 확장한 TAPIR, 동일 저자가 제안한 Transformer 구조 기반의 CoTracker가 있다. 하지만 위 모델들의 학습에 필요한 Annotation된 데이터를 구하기는 비용이 많이 들기에, BootsTAPIR과 같이 Semi-Supervised Learning으로 접근하는 방법론도 연구되었다. 

CoTracker3의 저자는 이와 같은 여러 선행 연구 모델에서 제시한 서로 다른 각 구조 모듈들을 중 정말 필수적인 모듈을 골라내어 간단하면서 성능이 좋은 구조를 찾아내었다고 주장한다. 성능적으로도 CoTracker3는 BootsTAPIR 보다 TAP-Vid와 Dynamlc Replica 벤치마크에서 월등한 지표를 보인다고 한다.  

본 논문에서는 새로운 Point Tracking 모델인 CoTracker3를 제안한다. 이는 더 최신의 새로운 아이디어를 적용해서 간단하고 데이터 효율적이게 개선한 모델이다. 

➡️ Method

Notation 및 모델 입출력 내용 정리

• Video: \({ \texttt{$(I_t)_{t=1}^{T}$} }\)
  • 연속한 \({T}\)개의 Frame들에 대해서 \({ \texttt{$I_t \in \mathbb{R}^{3 \times H \times W}$} }\)
• Query point: \({ \texttt{$Q = (t^q, x^q, y^q) \in \mathbb{R}^3$} }\)
  • \(t^q\)는 query frame의 index를 나타내고, \((x^q, y^q)\)는 query point의 최초 위치 정보
• Model Output(point track): \(P_t = (x_t, y_t) \in \mathbb\{R\}^2\), \(t = 1, \ldots, T\)
  • 추적된 point들 중 query point 시점에서는 \((x_{t_q}, y_{t_q}) = (x^q, y^q)\) 를 만족해야 함
  • 또한 추가로 visibility와 confidence를 예측함
    • visibility: \(\mathcal{V}_t \in [0, 1]\)
      • 추적된 point가 visible( \(\mathcal{V}_t = 1\) ) 한지 occluded( \(\mathcal{V}_t = 0\) )한지 나타내는 출력 값
    • confidence: \(\mathcal{C}_t \in [0, 1]\)
      • 모델이 출력한 추적 point 위치에 대한 확신도
• 모델은 최초의 track을 모두 query point \(P_t := (x_{t_q}, y_{t_q}), t = 1, \ldots, T\) 로, confidence와 visibility는 0으로 초기화( \(\mathcal{C}_t := 0\) , \(\mathcal{V}_t := 0\) )하며, 이후에 iterative하게 update함

3.1 Training Using Unlabelled Videos

전체적으로 Teacher-Student 구조를 사용한다. Teacher로는 다양한 기존의 Tracker 모델들을 종합해서 실제 video의 label을 추론하도록 하고 이 결과를 Pseudo-label로 사용하게 된다. Student는 저자가 직접 synthetic video를 통해 pre-train한 모델을 기반으로 Pseudo-label을 통해 추가 학습을 진행한다.

여기서 중요한 점은 Teacher로 사용되는 여러 Tracker들도 결국에는 synthetic 데이터로만 학습이 되어있다는 점인데, 어떻게 위와 같은 Teacher-Student 구조를 통해 Student 모델이 개선될 수 있는지에 대해서 아래와 같이 근거를 제시한다.

1. Student 모델의 입장에서 더 많은 양의 synthetic 데이터를 통해 학습하는 효과가 있음
2. 실제 Video 를 통해 추가 학습하면 합성 데이터와 실제 데이터 간의 분포 변화가 완화됨
3. Teacher 모델이 annotation을 하는 과정은 ensemble 및 voting 효과가 있어서, Pseudo-annotation Noise를 줄이는 효과가 있음
4. Student 모델은 여러 Teacher Tracker의 다양한 강점을 물려받을 수 있어서 일반화의 관점에서 긍정적으로 작용함

Dataset.

위와 같은 학습 방식을 척용하기 위해서 주로 인간과 동물에 대한 움직임을 포함하는 다양한 장면이 담긴 Internet 상의 데이터셋을 수집했다(30초 정도의 길이를 갖는 약 100,000개의 영상). 결과 부분에서 학습 데이터셋의 양 변화에 따른 성능 변화를 함께 실험했다.

Teacher models.

철저한 Pseudo-annotation을 만들기 위해서 저자는 Kubric (synthetic) 데이터를 통해 학습된 다양한 Tracker 모델들 (CoTracker3 online, CoTracker3 offline, CoTracker, TAPIR)을 사용했다. 저자는  학습 과정 도중에 각 Batch 별로 랜덤하게 Frozen Tracker Teacher 모델 하나를 뽑아서 Pseudo-annotation을 추론하게 했다. 이는 곧 여러 Epoch을 거치면서 동일한 Batch 데이터가 서로 다른 Teacher이 만들어낸 Pseudo-annotation을 학습의 정답으로 사용하도록 해서 Student의 일반화 성능을 확보할 수 있게 했다.

Query point sampling.

Tracker는 영상 뿐만 아니라 추적할 Query point를 입력으로 받아야한다. 이를 위해 SIFT 알고리즘을 사용하는데, 영상에서 Random하게 한 Frame을 선택하고, 해당 Frame에서 SIFT를 적용해 Query point들을 생성하게 된다. 이 방식은 이미지에서 특징이 잘 나타나지 않는 애매한 경우에는 Query point를 찾지 못하는 특성이 있는데, 이를 통해 추적이 어려운 포인트 및 영상 자체를 제외하여 학습 안정성을 높아졌다고 주장한다.

Supervision.

Student 모델이 예측한 Point들의 경로는 Synthetic 데이터로 Pre-train된 모델과 동일한 Loss Function을 적용한다. 다만, Occlusion과 Confidence를 고려하기 위한 작은 수정이 적용된다. 이는 이후 Section 3.3에서 자세히 다룬다.

3.2 CoTracker3 Model

CoTracker3 모델은 총 2가지의 버전이 있음

• CoTracker3 Online
  • sliding window 방식을 사용
    • 입력 영상에 대해서 시간 순서대로 sequential하게 처리
    • 정방향만 고려한 tracking points 가능
  • 상대적으로 연산량이 적어서 Real-Time 처리 가능
• CoTracker3 Offline
  • 영상 전체를 하나의 window로 처리
    • 정방향과 역방향 모두를 고려한 tracking points 가능 
    • Online 버전에 비해서 Occluded points를 더 잘 추적
    • Online 버전에 비해서 더 장기적인 시점이 고려된 추적 가능
  • 상대적으로 계산에 필요한 메모리의 양이 큼

Feature maps.

먼저, CNN을 통해 Dense \({d}\)-차원 feature maps을 계산하는 것으로 시작한다 ( \(i.e.,\ \Phi_{t}\,=\,\Phi(\text{I}_{t}),t\,=\,1,\cdot\cdot\cdot\,,T.\) ). 이때 원본 영상은 계산의 효율성을 위해 \({k=4}\)를 통한 downsampling을 진행되어 있는 상태이다 ( \({\Phi_{t}\in\mathbb{R}^{d\times{\frac{H}{k}}\times{\frac{W}{k}}}}\) ). 또한, 해당  처리가 된 영상을 \({S=4}\) 단계의 서로 다른 해상도 변경해서  feature maps을 계산한다 ( \( i.e., \Phi_{t}^{s} \in \mathbb{R}^{ \left( d \times \frac{H}{k 2^{s-1}} \times \frac{W}{k 2^{s-1}} \right) }, \, s = 1, \cdots, S.  \) )

4D correlation features.

Query point \({ Q = (t_q, x_q, y_q), \quad t = 1, \dots, T }\)가 영상의 다른 모든 프레임 \({ (t = 1, \dots, T) }\)에서 어디에 위치할지 예측하기 위해서 correlation을 계산한다. 다시 말해서, 시점 query frames \({t_q}\)의 query 좌표들 \({(\text{x}^q, \text{y}^q)}\)의 주변부에 위치한 feature maps \({ \Phi_{t^q}}\)와 전체 시점 frames의 현재 예측된 track위의 점 주변부 \( { \mathcal{P}_t = (\text{x}_t, \text{y}_t) } \)의 feature maps  \({ \Phi_{t}, t = 1, \cdots, T }\) 사이의 correlation을 계산하게 된다.

구체적으로, 주변부를 어떻게 표현하는지 살펴보자. 모든 점 좌표 \( \mathcal{P}_t \)의 서로 다른 scale을 가지도록 추출된 feature vector 주변 정사각형 이웃을 다음과 같이 수식으로 표현 수 있다..

$ \phi_{t}^{s}=\left[\Phi_{t}^{s}\left(\frac{\text{x}}{k s}+\delta,\frac{\text{y}}{k s}+\delta\right):\,\delta\in\mathbb{Z},\;\|\delta\|_{\infty}\leq\Delta\right]\in\mathbb{R}^{d\times(2\Delta+1)^{2}},\quad s=1,\ldots,S, \tag{1} $

feature map \({\Phi_{t}^{s}}\)은 좌표 \({(\text{x}_t, \text{y}_t)}\) 주변을 bilinear interpolation해서 만들어진다. 따라서 각각의 scale \({s}\)에 대해서 \({\phi_{t}^{s}}\)는 \({(2\Delta + 1)^2}\)의 크기를 갖는 grid에 pointwise \({d}\)-차원 features를 갖게된다.

다음으로는,  모든 scale \({s = 1, \cdots, S}\)에 대해서 4D correlation를 \({\langle\phi_{\mathrm{t}^q}^{s},\phi_{t}^{s}\rangle=\mathrm{stack}((\phi_{\mathrm{t}^q}^{s})^{\mathsf{T}}\phi_{t}^{s})\in\mathbb{R}^{(2\Delta+1)^{4}}}\)와 같이 정의한다. 직관적으로 이 연산은 query point \({(\text{x}^q, \text{y}^q)}\) 근처의 feature vector와 track point \({(\text{x}_t, \text{y}_t)}\) 근처의 feature vector를 비교함으로써, track point 위치를 update하기 위한 예측을 하는 과정이다. 이 correlation들을 이후 Iterative update를 위해 transformer에 입력으로 사용하기 전에, MLP를 통해 차원을 줄여서 correlation feature로 가공하는데 이를 수식으로 나타내면 \({\mathrm{{Corr}}_{t}={\big(}{\mathrm{MLP}}(\langle\phi_{\mathrm{t}}^{1},\phi_{t}^{1}\rangle),\cdot\cdot\cdot,{\mathrm{MLP}}(\langle\phi_{\mathrm{t}}^{\mathrm{S}},\phi_{t}^{\mathrm{S}}\rangle))\in\mathbb{R}^{p S}}\)로 표현할 수 있다.

Iterative updates.

모든 시간 \({t=1, \cdots, T}\)에 대해서 Confidence \(\mathcal{C}_t\)와 Visibility \(\mathcal{V}_t\)는 0으로, tracks \(\mathcal{P}_t\)는 최초의 query point \(\mathcal{Q}\) 좌표로 초기화한다. 이후에 위와 같은 값들을 모두 Transformer에 입력으로 사용하는 iterative한 update 과정을 거친다.

또한, 매 Iteration마다 Frame별 displacement를 Fourier Encoding을 사용하여 트랙을 임베딩하는데 수식으로 \({\eta_{t\rightarrow t+1}\;=\;\eta(\cal{P}_{t+1}\;-\;{\cal P}_{t})}\)와 같이 표현할 수 있다. 그 이후에 양방향 track embedding(\( \eta_{t\rightarrow t+1} \) and \( \eta_{t-1\rightarrow t} \) ), Confidence \(\mathcal{C}_t\), Visibility \(\mathcal{V}_t\), 4D correlations \( \mathrm{{Corr}}_t \)를 모든 query point에 대해서 다 합쳐서 이후 transformer의 입력으로 사용한다. \(i\,=\,1,\cdot\cdot\cdot\,\cdot\,\cdot\,\cdot\,N : \mathcal{G}_{t}^{i}\,=\,\left(\eta_{t-1\to t}^{i},\eta_{t\to t+1}^{i},C_{t}^{i},\mathcal{V}_{t}^{i},\mathrm{Corr}_{t}^{i}\right)\) \(\mathcal{G}_t^i\)는 결국 전체 시간 \({T}\)와 모든 \({N}\) 개의 query point에 대한 차원으로 확장되는 grid 형식의 Transformer 입력 Token의 역할을 하게 된다. Transformer \(\Psi\) 는 이러한 grid를 입력으로 받고 Fourier time embedding과 Time attention, Group attention을 추가로 사용한다. 또한 계산의 효율성을 위해 Proxy attention을 추가로 사용한다. 이러한 Transformer의 출력으로 얻게되는 Delta 값( \({(\Delta\mathcal{P},  \Delta\mathcal{C},   \Delta\mathcal{V}) = \Psi(\mathcal{G})}\) )들을 통해 매 iteration마다 값들을 업데이트( \({\mathcal{P}^{(m+1)}=\mathcal{P}^{(m)}+\Delta\mathcal{P}^{(m+1)};\mathcal{C}^{(m+1)}=\mathcal{C}^{(m)}+\Delta\mathcal{C}^{(m+1)};\mathcal{V}^{(m+1)}=\mathcal{V}^{(m)}+\Delta\mathcal{V}^{(m+1)}}\) )하게  된다. 이때 업데이트를 진행할 때마다 업데이트 된 track point \(\mathcal{P}^{(m+1)}\) 근처의 point wise feature \({\phi}\)를 resample하고, correlation \(\mathrm{Corr}\)을 다시 계산하게 된다.

3.3 Model Training

본 모델은 6의 Threshold와 iteration 마다 exponential하게 증가하는 weight를 갖는 Huber Loss를 사용한다. Occluded point에 대해서는 더 작은 weight을 부여하도록 term을 설정한다.

$ {\mathcal{L}}_{\mathrm{track}}(P,P^{\star})=\sum_{m=1}^{M}\gamma^{M-m}(\mathbb{H}_{o c c}/5+\mathbb{H}_{v i s})\,\mathrm{Huber}(P^{(m)},P^{\star}) \tag{2} $

이때, \(\gamma = 0.8\)을 사용해서 최근의 iteration에 더 큰 weight을 부여해서, visible point에 대해 잘 tracking 할 수 있도록 우선순위를 부여하는 역할을 한다.

Confidence와 Visibility는 Binary Cross Entrophy Loss를 통해 매 iteration 마다 학습하게 되는데, Confidence의 GT의 경우 예측한 track point와 GT track point 사이의 거리가 12픽셀 보다 적은 경우 1로 간주하는 indication function을 사용한다. 또또한 Confidence와 Visibility 모두 Loss 계산 전에 sigmoid를 거치게 된다. 이 내용은 아래 수식으로 표현할 수 있다.

$ {\mathcal{L}}_{\mathrm{conf}}(\mathcal{C}, \mathcal{P}, \mathcal{P}^{\star})=\sum_{m=1}^{M}\gamma^{M-m}\,\mathrm{{CE}}(\sigma(\mathcal{C}^{(m)}), \unicode{x1D7D9}[\Vert \mathcal{P}^{(m)} - \mathcal{P}^{\star} \Vert_2 < 12] ) \tag{3} $

$ {\mathcal{L}}_{\mathrm{occl}}(\mathcal{V},\mathcal{V}^{\star})=\sum_{m=1}^{M}\gamma^{M-m}\,\mathrm{{CE}}(\sigma(\mathcal{V}^{(m)}),\mathcal{V}^{\star}) \tag{4} $

Online model.

Online과 Offline 모드 둘 다 동일한 모델 구조를 사용하지만, 학습 방식에 차이가 있다. Online의 경우 \({T}^{\prime}\)의 크기를 갖는 window를 사용해서 학습하는데, window 내에서 track point를 예측하고 \({T}^{\prime} / 2\) 프레임 만큼 정방향으로 이동해서 track point를 예측한다. 이러한 과정을 전체 영상에 대해서 반복하게 되고, 겹쳐지는 예측 부분에 대해서는 이전 window의 출력값이 현재 window의 초기화 값으로 사용된다.

학습이 진행되는 동안, (2)와 (4)에 해당하는 Loss 식은 모든 window마다 각각 사용하게 되고, 모든 window에서 나온 출력들의 평균을 취해서 최종 track point 결과를 산출한다

Project page : https://riponazad.github.io/echotracker/

➡️ Abstract

• 심장초음파를 통한 tissue tracking은 심장의 복잡한 움직임과 초음파 자체의 특성 때문에 어려움
• 해당 task의 기존 SOTA인 Optical flow 방법론은 SOTA로 여겨지기는 하나, 장기간 tracking을 수행하기 힘들고 noise occlusion, drift를 고려하지 못함
• 최근에는 위 문제들을 극복하기 위한 학습기반의 point tracking 방법론이 소개되고 있음
• 본 논문에서는 초음파 영상의 query point를 tracking 할 수 있는 EchoTracker라는 two-fold coarse-to-fine 모델을 제안함 
  • 초기에 trajectory에 대한 coarse initialization 진행
  • Reinforcement iteration을 통해 trajectory를 개선
• Code link: https://github.com/riponazad/echotracker/.

➡️ Introduction

심장초음파를 통한 Myocardial imaging은 심장 근육의 형태를 평가하고 정량화하는 데 사용된다. 이를 통해 심장 기능성 저하나 근육의 불규칙성을 찾을 수 있고, 다양한 심장의 상태를 진단할 수 있다. Deformation을 측정하기 위한 myocardial strain은 ejection fraction과 같은 다른 measurement보다 더 민감하게 상위 질병과 연관 있다. Motion estimation은 정밀한 strain 측정을 위해서 필수적이지만, 영상 획득과 측정하는 방식의 다양성과 초음파 자체의 한계에 때문에 정밀한 측정은 쉽지 않다. 근래에 motion 측정과 strain imaging은 block 및 feature matching을 통한 speckle tracking 방법론이 일반적이었다. 최근에는 학습 기반의 기술이 발전하면서 FlowNet 및 PWC-Net과 같이 optical flow 기반의 모델이 발전했고, 이는 초음파 영상에도 적용시키고자 하는 연구들이 진행되었다. 하지만 optical flow는 긴 영상의 시간적인 정보를 고려하지 못하고 연속한 frame 사이에서의 displacement field를 계산한다는 단점이 있다. 따라서 저자는 모델 구조를 초음파 데이터에 맞게 설계해서 간단한 구조로 효율적인 학습이 가능하고 좋은 성능을 낼 수 있었다.

➡️ Tracking Any Point (TAP)

TAP는 deep learning의 새로운 분야로, optical flow 기반의 tracking의 한계를 극복하기 위해 발전해왔다. 또한 단단하지 않은 물체 표현에 있는 점에 대한 추적이 가능하다. TAP 분야를 최초로 정의한 저자 Doersch는 간단한 모델인 TAP-Net을 통해 향후의 성능평가를 위한 실제 및 임의 데이터에 대한 baseline 성능을 제공했다. TAP 알고리즘은 영상 데이터와 query point를 입력받게 되면 어떤 모든 시간 \({t}\)에 대한 tracking 된 위치 \({(x_t, y_t)}\)와 가려짐 여부 (\({o}_t\))를 출력한다. 이때 만약 occluded 된 것으로 (\({o_t = 1}\) 판단된 frame의 예측 위치는 의미가 없는 것으로 간주한다. 하지만 이러한 특징은 심장초음파에 적용하기에 모순이 있다. 이는 측정되고 있는 면을 벗어나는 점에 대해서까지도 GLS를 위한 움직인 위치를 계산할 수 있어야 하기 때문이다. 따라서 저자가 제안하는 모델에서는 Persistent Independent Particles (PIPs) 기반의 구조와 결합해서 사용한다. 하지만 여전히 PIP 기반의 방법은 각각의 점들을 독립적으로 tracking 할 뿐, trajectory 사이의 정보를 교환하지 않기 때문에 myocardial tissue와 같이 deformable 해서 초음파 측정 탐지봉의 view 범위를 벗어나는 물체를 tracking 하는데 큰 drift가 생기는 등의 어려움이 있다. 이와 같은 문제점은 CoTracker와 OmniMotion이라는 이전 연구들에서도 언급된 적이 있다.

• CoTracker
  • naive initialization이후에 sliding window 방법을 사용하는 transformer 구조를 통해 iterative하게 trajectory를 개선
  • PIPs의 long-range tracking과 동일한 단점을 가지고, window 크기를 늘린다 해도 계산량이 많아짐 
• OmniMotion
  • 입력 영상의 canonical 3D volume에 기반한 test-time 최적화 방법

➡️ Methods

학습 기반 모델의 전반적인 목표는 복잡한 움직임, 변형, 잡음이 섞여있는 심장 주기를 걸쳐서 특정 지점들을 tracking하는 것

• 입력되는 초음파 영상 : \({U} = \{ u_s \in \mathbb{R}^{H \times W} \} \) for \({s}= 0,1,\ldots,S\)
  • 이미지의 높이 : \({H}\)
  • 이미지의 너비 : \({W}\)
• 영상의 첫 frame속 query points : \({p}_0 = \{ (x_0^n, y_0^n) \} \) for \({n} = 0,1,\ldots,N \)
• 출력되는 queried points : \({P}=\{ p_s \in (x_s^n, y_s^n) \} \)

✔️ EchoTracker

위 그림과 같이 EchoTracker는 두 단계로 나뉜다 (\({initialization},\;{iterative \; reinforcement}\)). 해당 접근법은 TAPIR에서 영감을 받은 two-fold coarse-to-fine 전략을 따른다. 해당 방식을 통해 적절한 계산 속도를 확보하면서, downsampling에 의한 정보 손실도 방지하는 효과를 얻는다.

• Initalization
  • trajectory들은 coarse-network를 통해 feature map의 coarse resolution에 기반해서 초기화됨 
• Iterative reinforcement
  • trajectory들은 fine-network를 통한 fine-grained feature map를 사용해서 반복적으로 개선됨

◾Initialization

• 입력 데이터에는 \({S}\)개의 초음파 이미지와, \({N}\)개의 query point가 포함됨
• Coarse feature map을 만들기 위해서 pruned 2D residual convolutional network (basic encoder)가 사용됨
  • Coarse feature map : \({F}_s \in \mathbb{R}^{d \times \frac{H}{k} \times \frac{W}{k} }\) 
  • \({k}=8\) 과 \({d}=64\) 가 사용됨
  • prunning은 계산 비용 절감과 초음파 영상의 제한된 특성 (grayscale, cyclic, velocity)을 고려하기 위해 고안되었음
• 첫 frame에 대한 query point \({p}_0^n\)가 주어졌을 때 bilinear sampling을 통해 point에 대한 feature vector를 얻음
  • feature vector \({f}_{p_0^n} = \text{sample}(F_0, p_0^n) \)
• 앞서 계산한 feature vector와 전체 영상에 대해 내적을 통해 cost volume을 계산
  • 이때 multi-scale feature pyramid를 사용함
    • \({L} = 4\)와 kernel size \({r}=3\)을 사용
  • Cost volume : \( {C}^n_s = {f}_{p_0^n} \cdot \text{pyramid}(F_s) \)
• cost volume은 coarse 1D ResNet에 입력되어 initial trajectory를 출력함
  • initial trajectory : \({P}_s^n\)
  • 2D ResNet 대신 1D ResNet을 사용해서 시간적인 정보에 우선순위를 부여함, 공간적인 정보는 bilinear sampling에서 고려되었다고 가정

◾Iterative Reinforcement

PIPs와 최근의 point tracking 방법론들에서 영감을 받아 initial coarse trajectory를 iterative reinforcement 과정을 통해 개선했다. 저자는 본인들의 initialization 방식이 비교적 성공적으로 수행된다고 생각해서, 적은 iteration 횟수( \({I}=4\) )로도 개선된 trajectory로 잘 수렴할 것이라고 가정했다.

• Initialization 이후 동일한 basic encoder를 사용하되, downsampling 인자는 줄여서 \({k}=2\) 를 사용함
  • fine feature maps : \({F_s} \in \mathbb{R}^{d \times \frac{H}{2} \times \frac{W}{2}} \)
• Initialization과 달리 cost volume을 계산할 때, 현재 frame \({s}\)의 feature vector \({f}_{p^n_s}\)와 feature map의 point 위치 근처의 multi-scale crops of pyramid feature 사이의 내적값을 계산함
  • cost volume : \({C}_s^n = f_{p_s^n} \cdot \text{multicrop-pyramid}(F_s)\)
• 현재 frame에서 고정된 간격을 갖는 다른 cost volume( \({i.e.,\; C^n_{s-2}, C^n_{s-4}}\) )과 첫 frame의 cost volume( \({C}^n_0\) )을 함께 tracking 예측에 사용함
  • 이러한 cost volume 들을 모두 더해서 linear layer에 입력함으로써 현재 frame에 대한 score map을 계산함
  • 위 과정을 모든 frame에 걸쳐서 수행
• 모든 score map을 1D ResNet에 입력해서 업데이트 값 \(\Delta{p^n_s}\)을 계산함
  • 이때 사용되는 1D ResNet은 initialization에 사용된 coarse 한 네트워크 보다 더 깊고 많은 가중치를 가짐
  • 계산된 결괏값을 통해 업데이트를 진행
    • \({p_{s, i}^n} = p^n_{s, i-1} + \Delta{p_{s, i-1}^n}\)

Paper link : https://arxiv.org/abs/2403.04969

➡️ Abstract & Introduction

• 머리와 목과 같은 부위의 수술을 진행할 때, 초음파 영상의 특정 지점 (landmark)를 추적하는 것은 중요한 과제로 부상했으나 optical flow나 feature matching과 같은 기존의 방법론은 아래와 같은 단점이 있음
  1. RGB 영상을 기반으로 설계되어서 초음파 영상에 적용할 때는 성능의 한계가 있음
  2. 초음파 영상에서 supervised learning을 위한 ground truth을 얻기 위해서 다소 큰 비용이 필요함
•  저자는 위 단점을 극복할 수 있도록 Particle video 에 기반한 새로운 방법론(PIPsUS)을 제안함
  • 여러 개의 임의의 지점을 tracking 할 수 있음
  • 단순히 연속한 frame 사이의 정보 뿐만 아니라 장기간의 여러 frame의 정보를 활용함
  • RGB 영상을 통해 학습된 teacher를 통해 self-supervised하게 초음파영상에서도 tracking 할 수 있도록 학습하는 구조
• 목과 구강에 대한 초음파 영상을 통해 성능 평가를 진행함
• 저자가 생각하는 Contribution은 다음과 같음
  1. 초음파 영상에 걸친 모든 시간에 대해 어떠한 point도 tracking할 수 있는 새로운 particle video 모델
  2. self-supervised teacher-student 방식을 활용한 lag-free 모델

➡️ Related Work

( 중략 )

➡️ Methods

제시하는 Persistent Independent Particles in US (PIPsUS) 모델은 PIPs의 개선된 모델인 PIPs++로부터 영감을 받음

✔️ 기존의 PIPs++

• 영상 내의 particle의 움직임에 따른 pixel motion이 모델링 됨
• optical flow 처럼 연속한 frame들 뿐만 아니라 영상 전체에 걸쳐 모든 pixel을 추적할 수 있음
• 기존 PIP는 오직 8 frame의 chunk에 대해서 수행 가능했으나, PIPs++는 영상의 길이와 무관하게 수행 가능함
• 점을 추적하기 위해서 전체 영상을 검사해야함으로, 많은 메모리와 계산량이 요구되어 실시간성을 확보하기 힘듦

✔️ PIPsUS

◾모델 구조 설명

• Feature encoder를 통해 초음파 영상으로부터 feature map을 만들어 냄
  • PIPs와 마찬가지로 pretrain된 ResNet 기반의 encoder 사용 
• 추적된 점들의 feature들은 이전 frame으로 부터 bilinear sampling됨
  • \({F}_i=bilinearsampling(I_i, \textbf{p}_i = (x_i, y_i) )\), where \(i \in \{0, t-4, t-2\}\)
  • 이전의 여러 frame으로 부터 sampling 함으로써, 모델이 메모리나 계산량은 동일하게 유지하면서도 추적하는 점에 대한 최초의 상태와 최근의 상태를 모두 고려해서 학습할 수 있게 함
• 동일한 encoder가 새로운 이미지 \({I}_t\)에도 사용되어 dense feature map을 만들어 냄
  • 새로운 점 위치 \(\textbf{p}_t=(x_t, y_t)\)는 RAFT와 PIPs++에서 사용된 것 처럼 iterative한 업데이트 과정을 통해 산출됨
  • iteration의 초기화를 위해서 최초의 motion은 0으로 간주하고, 점 위치 \(\textbf{p}^0_t = (x ^0_t, y ^0_t )\)는 \(\textbf{p}_{t-1}\)로 설정함
• 매 iteration \({k}\) 마다, \({R}\times{R}\) 크기의 patch를 현재 frame의 feature map위의 \(\textbf{p}_t^k\)에 적용해서 \(P^0, P^1 , \ldots , P^L \)을 뽑아냄 (\({L}\)은 pyramid 구조의 서로 다른 resolution layer) 
  • 즉, Feature \({F}_i\)와 각 resolution마다 동일한 크기 \({R}\)을 갖는 patch 사이에 correlation map들을 계산하게 됨
  • 모든 correlation map들을 합쳐서 \(L \times R^2\)의 크기를 갖는 vector가 만들어 짐
  • point motion이 어느정도 일관된 값을 가질 수 있게 하기 위해서, 최근의 motion flow 값인 \(\textbf{p}_t^k - \textbf{p}_{t-1}, \textbf{p}_t^k - \textbf{p}_{t-2}, \textbf{p}_t^k - \textbf{p}_{t-3} \) 을 합치고 순서 정보를 살리기 위한 sinusoidal position embedding을 씌운 정보를 추가로 함께 사용
    • 해당 정보를 계산하기 위해 영상의 시작 부분 앞은 \({I}_0\)와 \(\textbf{p}_0\)로 padding 함
•  앞서 계산한 recent motion 정보와 correlation vector를 합치고나서 1D-Resnet과 Linear layer을 통과하게 함으로써, 위치 수정 값인 \(\Delta{p}_t^k\)를 예측함
  • 따라서, 다음 iteration \({k+1}\)에서의 위치는 \({p_t^{k+1}} = p_t^k + \Delta{p_t^k}\)로 수정됨

◾Self-supervised Teacher-Student Training

모델을 ground truth에 의존하지 않고 학습시키기 위해서, 서로 다른 2가지 pseudo-ground truth를 사용함

1. PIPs++ teacher labels
   • PIPs++ 점 위치 예측 결과를 하나의 ground truth로 사용함
   • PIPs++ 의 잘못된 예측 결과가 outlier로 작용하는 현상을 방지하기 위해 Huber loss를 사용함
   • \({L}_t = \mu_t \sum_{k=0}^K w_k HuberLoss (\textbf{p}_t^{gt}, \textbf{p}_t^k)  \;\;\;\;\;\;\;\;\;\; (1) \)
     • Iterative한 Update 과정의 특성을 녹여내기 위해, \({w}_k\)는 iteration이 진행되면서 점차 커짐 (\({w}_k=\lambda_{Iter}^{K-k-1}\))
     • Drifting 방지를 위해, \({\mu}_k\)는 time이 진행되면서 점차 커짐 (\({\mu}_t=\lambda_{Time}^{T-t-1}\))
2. Simulation labels
   • motion에 대한 정답을 알고 있는 초음파 영상을 translation, intensity modulation, noise addition 등을 통해 무작위로 변화시켜서 augmetation을 진행함
   • 사용한 loss function은 위 \({(1)}\)과 동일하게 사용하지만, 정답을 알고 있는 데이터이므로 drift나 outlier는 없는 것으로 간주하고 \(\lambda_{Time}=1\) 과 L1 loss를 사용함 

우선 모델의 warm up을 위해서 Simulation label을 사용함. 이후에 모델은 PIPs++ label과 50%의 Simulation label을 사용해서 train되었고, PIPs++ label에 대해서 validation 되었다.

Paper link : https://tapvid.github.io/

➡️ Abstract

Computer Vision 분야에서 영상 데이터의 motion을 해석하는 방식에는 물체 추적(Tracking objects)과 표면의 변화 및 이동 인식(Perceiving surface deform & move)이 있다. 이러한 정보는 물체의 3차원 형태나 물리적인 특성, 상호작용을 이해하는데 사용될 수 있다. 하지만 길이가 긴 영상 데이터에서 멋대로 변화하는 표면 위의 지점(physical points on surfaces)을 추적하는 task는 성능 평가를 데이터셋이나 benchmark가 존재하지 않는다는 문제가 있다. 본 논문에서는 처음으로 Tracking Any Point (TAP) 문제를 정의하고 이를 평가할 수 있는 benchmark인 TAP-Vid를 소개한다. 또한 이를 benchmark를 통해 학습된 TAP end-to-end 모델인 TAP-Net을 소개한다.

➡️Introduction

Motion을 인식하는 것은 비전 분야에서 세상을 이해하는데 중요한 tak이고 그 동안 많은 연구가 이뤄져 왔지만, 장기간의 영상 데이터의 point 변화를 추적하는 task는 그렇지 못했다. 이뤄졌던 여러 종류의 연구들도 아래와 같은 명확한 단점들이 있었다.

• Box & Segment tracking
  • 표면의 deformation과 rotation을 고려하지 못함
• Optical Flow
  • 오직 두 frame 쌍 사이의 point track만 수행할 수 있음
  • 가려짐(Occlusion)을 고려하지 못함 
• Keypoint matching
  • 특정하게 관심있는 포인트(e.g. 관절)에 대해서만 tracking 수행
  • 물체의 변형이나 뚜렷하지 않은 질감에 대해 고려하지 못함

본 논문에서는 Tracking Any Point (TAP) 로 명명한, 길이가 긴 영상 데이터에서 물리적인 point를 추적하는 문제를 정의한다. 저자가 제시하는 방법론은 오직 하나의 \(\textit{query}\) 픽셀만 입력으로 받으면, 해당 target point가 속해 있는 표면을 결정하고 영상 데이터에서 시간에 따른 움직임을 예측할 수 있다 (단, 투명한 물체, 액체, 유리는 다루지 않음). 해당 방법론의 학습과 평가는 실제 영상 데이터(real world) 와 생성한 영상 데이터(synthetic)를 섞어서 사용했는데, 이때 사용하는 실제 영상 데이터에서 ground truth를 사람이 수동으로 표기하는 것은 쉽지 않은 방식이다. 따라서 저자는 실제 영상 데이터에서 효과적이고 정확하게 point track을 표기(annotation)하는 pipeline을 개발했다. 이를 통해 1,189개의 Youtube 영상을 각각 약 25개 이상의 points로 labeling 했다. 이후에는 소수의 Annotator를 통해 label을 검증하는 과정을 거쳤다.

해당 논문에서 주장하는 3가지 Contribution은 아래와 같다.

1. Annotator(실제 영상 데이터의 point를 labeling하는 사람)가 더욱 정확하게 작업하도록 도울 수 있는 알고리즘을 개발하고 평가했음
2. 총 1,219개의 평가용 실제 영상데이터(총 31,951개의 points)를 만들었음
3. 기존의 사람 key point tracking 데이터 셋인 JHMDB와 논문에서 제시한 TAP-Vid 데이터셋을 각종 baseline 알고리즘들을 통해 비교한 결과, TAP-Vid 데이터셋이 학습에 더 용이하다는 결과를 얻음

➡️ Related Work

(중략)

➡️ Dataset Overview

본 논문에서 제시한 방법론은 입력으로 영상 데이터와 \(\textit{query}\) points \((x, y, t)\)를 전달 받는다( \( {x, y} \) 는 2차원 위치, \( {t} \) 는 시간 ). 그리고는 각 query point 마다 1) 모든 frame별로 point가 움직인 위치 \((x_t, y_t)\)와 , 2) point가 모든 frame별로 가려졌는지에 대한 여부 \({o}_t\) 를 산출해야한다. 단, point가 가려져있는(occluded) 동안에 예측되는 \((x_t, y_t)\)는 무의미한 값이다. 

저자는 TAP 분야의 평가를 위한 benchmark를 만들고자 하는 목적으로 실제 영상 데이터와 생성된 영상 데이터를 섞은 TAP-Vid를 만들었다. Kubric과 같이 특정 생성된 데이터를 포함하는 세트를 평가 데이터로 사용하는 것은 특정 도메인에만 편향된 학습 결과를 보여줄 수 있기 때문에, 저자는 학습에 Kubric 데이터만 사용하고 추가로 3가지 종류의 데이터를 더 만들어서 테스트에 함께 사용했다. 아래는 총 4가지 종류의 TAP-Vid 데이터에 대한 정보를 기술한 표이다.

✔️ TAP-Vid Datasets

◾ TAP-Vid-Kinetics

• Kinetics-700 validation set에서 추출
  • 다양한 사람의 행동으로 구성된 데이터 셋 
  • YouTube에 업로드 되어있음
  • 720P 해상도를 가짐
  • 움직이는 물체가 여러 개라던지, 카메라가 흔들리고, 불필요한 밝기 변경되는 등 구조화되지 않은 데이터임
• 25 fps를 갖는 10초 단위의 clip으로 편집하여, 한 clip은 총 250개의 frame을 가짐

◾ TAP-Vid-DAVIS

• DAVIS 2017 validation set에서 추출
  • segment tracking을 위한 30개의 영상으로 구성됨
  • 1080P 해상도를 가짐
  • 레이블이 1개의 움직이는 물체에만 매겨져 있음
• Annotator를 통해서, 5개의 다른 물체에 5개의 다른 point를 레이블링함
• 256 x 256 크기로 편집함

◾ TAP-Vid-Kubric

• 본 논문에서 제시하는 모델 TAP-Net의 지도학습과 평가에 모두 사용된 데이터 셋
• Kubric에서 소개된 생성된(synthetic) MOVi-E dataset에서 추출
  • 각 영상은 Bullet의 물리 엔진과 Blender의 레이트레이싱이 적용된 약 20개의 사물들로 구성됨
• 모델 학습을 위해서 augmentation을 적용함, 최대로 2:1 화면비, 최소로 픽셀 수 30%로 cropping

◾ TAP-Vid-RGB-Stacking

• 생성된(synthetic)데이터로, robotic stacking 시뮬레이터를 녹화한 데이터 셋
  • 원격 조종자가 다양한 기하학적인 모형을 원하는 대로 움직일 수 있는 시뮬레이터
  • \(\textit{triplet-4}\)라는 모형을 사용했고, 좌측 전면 카메라를 통해 녹화함
• 50개의 episodes를 녹화했고, 각 영상마다 30개의 points를 선택함 (20개는 움직이는 모형, 10개는 정적인 모형)
• 해당 데이터셋의 사물들은 질감이 없고(textureless), 회전축에 대해서 대칭(rotaionally symmetric)이며, 수시로 가려지기(frequent occlusions) 때문에 특히 더 어려운 데이터 셋임

➡️ Real-World Dataset Construction

Tracking Any Object (TAO)에 영감을 받아서, 논문의 저자도 annotator들에게 point 추적을 라벨링 할 위치를 지정해주기 보다는 일반화를 위해서 annotator이 원하는 물체 위의 원하는 임의의 point를 직접 선택해서 라벨링하게 했다. Annotator들은 총 15명으로 진행되었는데, 이들은 Google의 crowdsourcing pool에서 구인되었다고 하며 시급을 받고 진행했다고 한다. 저자는 소수의 annotator를 운용함으로써 작업자들의 전문성을 높혀 더 효과적으로 진행할 수 있었다고 한다. 아래의 그림과 같이 Annotation은 총 3단계로 이루어졌다. ( 각 단계의 자세한 내용은 아래에 기술 )

Stage 1: Object Selection

• 작업자는 \({K}\)개의 물체 수를 선택한다 (Kinetics에서는 \({K}=10\), DAVIS에서는 \({K}=5\) 사용)
• 눈에 띄고 오래동안 화면에 등장하는 순으로 물체들의 순위를 매긴다
• 30 frame에 한번씩 모든 물체에 대해서 box를 그린다
• 각 물체에 대한 텍스트 레이블을 작성한다

Stage 2: Point Annotation

• Stage1에서 선택한 모든 물체에 대해서, point 수 \({M}\)를 선택한다 (Kinetics에서는 \({M}=3\), DAVIS에서는 \({M}=5\) 사용)
• 작업자는 모든 frame에 대해 각 물체가의 위치가 변화할 때 동일한 point를 표시해야 하는데, 이때 optical flow를 활용한 \(\textit{track assist}\) 알고리즘을 통해 point의 움직임을 예측해서 작업을 도와준다
  
  • 단, 몇개의 sparse한 point는 작업자가 찍어줘야 한다
  • 해당 알고리즘에 대한 자세한 설명은 바로 다음 섹션에서 계속

Stage 3: Iterative Refinement

• Annotation 퀄리티를 확보하기 위해서, 최초 작업이 끝난 이후 결과는 두 번째 작업자에게 넘겨져서 작업이 잘 되었는지 확인한다
• 이 과정은 마지막 작업자가 모든 label에 대해서 승인할 때 까지 반복된다
• 평균적으로 4~5명의 작업자 기준, 10초짜리 영상의 작업은 3.3시간이 걸렸다

✔️ Track Assist Algorithm

Annotator에 의해서 첫 번째 point가 주어지게되면, RAFT와 같은 Optical flow 알고리즘을 통해서 이후 frame에서 해당 point가 어디로 움직일지 어느정도 예측이 가능하다. 하지만 이러한 방식에는 아래와 같이 두가지 문제가 있다.

1. 현재 point 이후 너무 많은 frame 뒤를 예측하게 하면, drift가 생겨 제대로된 예측을 할 수 없음
2. Occlusion을 고려하지 못함

두 번째 문제를 예방하기 위해 작업자들은 occlusion이 발생하면 작업을 멈추도록 교육을 받았고, 첫 번째 문제인 drift를 해결하기 위해서 Optical flow를 예측하는 알고리즘에 수정이 필요했다. 저자는 우선 RAFT를 이용해 전체 영상에 대해서 optical flow를 계산했고, 작업자가 frame \({s}\)에 대해 point \({p}_s\)를 선택하게 되면 미리 계산해둔 flow값과 선택된 point를 통해 마지막 frame까지 bilinear interpolation 사용해서 다음 frame point 값을 연산해서 넘겨준다. 작업자가 그 다음 frame \({t}\)의 point \({p}_t\)를 선택하게 되면, 각 frame 별로 optical flow 계산과 찾을 경로의 차이 제곱 값이 최소화 되게 하는 경로를 찾게 된다. 이를 식으로 표현하면 아래와 같다.

$  \operatorname{arg\,min}_{\rho\in{\mathcal{P}}_{s:t}}\sum_{i=s}^{t-1}\|(\rho_{i+1}-\rho_{i})-{\mathcal{F}}(p_{i})\|^{2}\qquad{\mathrm{s.t.}}\quad\rho_{s}=p_{s},\rho_{t}=p_{t} \tag{1} $ 

\( \mathcal{P}_{s:t} \)는 frame \({s}\)에서부터 frame\({t}\)까지의 모든 경로의 집합이다 (각 경로는 points들의 list). 따라서  모든 \({\rho}\)는 \( \mathcal{P}_{s \colon t} \) 에 속한다 ( \(\{\rho_i, i \in \{s, \ldots, t\}  \}\), \(where, {\rho}_i \in \mathbb{Z}^2\) ). 또한 \( \mathcal{F} \colon \mathbb{Z}^2 \rightarrow \mathbb{R}^2  \) 는 optical flow tensor를 뜻하고, 이 값에 의해 이미지 픽셀들이 optical flow vector로 매핑된다.

위 식은 non-convex 최적화 문제이지만, 각 프레임의 픽셀을 노드로 보면 그래프에서의 최단거리 문제로 간주할 수 있다. Frame \({i}\)에서의 각 픽셀은 frame \({i+1}\)의 모든 픽셀과 연결되어있고, 이때 각 연결의 가중치는 optical flow를 통해 게산한 두 경로 거리 차이의 제곱의 비율이다. 이는 곧 다익스트라 알고리즘을 통해 효과적으로 최단거리를 구할 수 있게된다. 이러한 알고리즘을 통해 annotator의 작업을 어느정도 도울 수 있게 된다.

✔️ Evaluation and Metrics

저자는 보이는 부분에 대한 정확한 point 위치 예측과 보이지 않는 point를 예측하는 것을 간단하게 표현할 수 있는 metric을 사용했다. occlusion 여부와 같은 binary decision과 위치 예측 regression prediction을 동시에 비교하는 것은 쉽지 않은 접근이기 때문에, regression 값에 treshold를 사용해서 binary 문제로 바꾸어서 아래의 3가지 Jaccard 스타일 metric을 산출한다.

1. Occlusion Accuracy \({OA}\)
   1. 가려짐 여부에 대한 단순한 classification accuracy 계산
2. \({\delta}^x\)
   1. 가려지지 않은 frame에서, 해당 threshold를 통해 position accuracy를 계산
   2. ground truth와의 거리가 theshold 보다 작은 포인트들의 비율을 계산
   3. 5가지 threshold 값을 변경하면서 결과를 평균내어 \({\delta}_{avg^x}\)를 계산 (각각 1, 2, 4, 8, 16 픽셀)
3. \(\text{Jaccard at }{\delta}\)
   
   1. 가려짐 여부와 position 위치 정확도를 동시에 평가
   2. \(\text{Jaccard} = \frac{True Positives}{True Positives + False Positives + False Negatives}\)
   3. \(\text{Average Jaccard (AJ)}\)는 \({\delta}_{avg^x}\) 에서와 같은 threshold를 사용한 결과의 평균

➡️ Datset Analysis

저자는 기본적인 데이터셋에 대한 통계치를 제공하고, 수동으로 annotating한 track에 대해 ground truth와 비교해서 point tracking에 대한 정확도를 평가했다. 또한 미래의 연구를 위해서 여러 방법론들에 대해 각 논문에서 제시한 알고리즘에 따라 baseline 성능 평가를 진행했다. 해당 알고리즘들의 성능이 우수하지 못해서, 저자는 cost volume을 활용해 좋은 성능을 확보한 TAP-Net baseline을 개발했다. 

➡️ Baselines

기존의 몇몇 방법론(e.g. Kubric-VFS-Like, RAFT, COTR)은 조금의 수정이나 확장을 통해서 곧바로 적용해 볼 수 있었다. 하지만 대부분 좋은 성능을 확보하지 못했다. 예를 들면 Occlusion을 고려하지 못하는 RAFT, deformable한 사물을 잘 다루지 못하는 COTR, 생성한 데이터에서 실제 데이터로 전이가 잘 이뤄지지 않은 Kubric-VFS-Like가 있다. 이러한 단점들은 모델의 구조적인 한계에서 비롯되기 때문에 저자는 이를 고려해 합리적인 성능과 빠른 실행시간을 확보한 딥러닝 구조를 개발했다.

✔️ TAP-Net

영상 데이터의 dense feature grid를 계산하고, query point와 다른 모든 point 사이의 feature들을 비교한다. 비교한 결과 값을 신경망구조에 입력해서 point 위치 값을 예측하고 occlusion 여부를 분류한다.

◾Cost Volume

저자는 optical flow 분야에서 성공적으로 사용되었던 cost volume에 영감을 받아 이를 응용했다. 먼저, 영상 데이터의 dense feature grid를 계산하고 query point와 다른 point의 feature들을 비교한다. 그리고서 비교한 쌍들의 집합 자체를 새로운 feature로 여겨서(cost volume), 이후에 신경망의 입력으로 사용한다. 이는 아래 Figure 7에 묘사되어 있다.

주어진 영상 데이터에 대해서 먼저 grid \({F}\)를 계산한다. \({F}_{ijt}\)는 시간 \({t}\)에서 좌표 \(i, j\)의 \({d}-\)차원 feature를 의미한다. 이를 위해 저자는 Per-frame ConvNet을 사용했는데, TSM-ResNet-18의 앞쪽 두 layer에만 time shifting을 적용해서 이를 구현한 결과는 좋지 않았기 때문이다. 시간 \({t}_q\) 의 query point 좌표 \({x}_q, {y}_q\) 가 주어졌을 때, feature grid \({F}_t\) 위의 \({i}_q, j_q, t_q\)에 대해 bilinear interpolation 해서 feature를 뽑는다. 이렇게 뽑힌 feature를 grid \({F}_q\)라고 칭한다. 그리고 행렬 곱을 통해 cost volume을 계산하는데, 즉 feature map \({F}\)위의 각 feature가 shape \({d}\) 을 갖는다면 출력값은 cost volume \({C}_{qijt} = F_q^{\intercal}F_{ijt}\) 이다. 따라서 \({C}_q\)는 3차원 tensor 이며, ReLU 활성화 함수화 함께 사용된다.

◾Track Prediction

다음 단계는 각 frame 마다 독립적으로 query point와 관련된 cost volume을 후처리하는 과정이다. 한 frame에 대한 처리 과정의 모식도는 아래 Figure 8과 같다.

하나의 출력값을 갖는 Conv layer와 softmax를 통해 position 예측을 한다. 그 후 soft argmax와 spatial average를 취하는데, 이는 출력값 heatmap에서 가장 큰 값을 갖는 위치의 주변부를 활성화시키는 역할을 한다.

수학적으로 기술해보자면, query \({q}\)의 시간 \({t}\)의 공간 좌표 \({i}, {j}\)에 대한 softmax 활성화함수는 \({S}_{qijt} \in \mathbb{R}\)이라고 정의한다. 또 \({G}\)는 spatial grid라고 하자. 즉, \({G}_{i,j} \in \mathbb{R}^2\)는 \({S}_{i,j}\)의 이미지 좌표 공간에서의 위치이다. 마지막으로 \({S}_{qt}\)의 argmax 위치를 \((\hat{i}_{qt}, \hat{j}_{qt})\)라고 하면, 출력물은 아래와 같은 식으로 표현할 수 있다.

$ p_{q t}=\frac{ \sum_{i, j} \unicode{x1D7D9} \left(  \left\|  (\hat{i}_{qt}, \hat{j}_{qt} ) - (i,j) \right\|_2 < \tau \right) S_{qijt}G_{ij}}{\sum_{i, j} \unicode{x1D7D9} \left(  \left\|  (\hat{i}_{qt}, \hat{j}_{qt} ) - (i,j) \right\|_2 < \tau \right) S_{qijt}} \tag{2} $

위 식에서 \({\tau}\)는 상수이며, 보통 5로 사용했다. 해당 식의 일부분(thresholding과 argmax 부분)은 미분이 가능하지 않음에 주의해야한다.

◾Loss Definition

각 query point에 대한 loss는 아래와 같다.

$ {\cal L}(\hat{p},\delta,p^{g t},o^{g t})=\sum_{t}(1-o_{t}^{g t}){L}_{H}(\hat{p}_{t},p_{t}^{g t})-\lambda\left[\log(\hat{o})o^{g t}+\log(1-\hat{o})(1-o^{g t})\right] \tag{3} $

여기서 \(L_{H}\)는 Huber loss이고, \(p_{gt}\)는 위치의 ground-truth값, \(o_{gt}\)는 가려짐에 대한 binary ground-truth값이다. 즉 저자는 가려지지 않은 point에 대한 위치 예측을 단순히 frame별 regression 문제로 접근했다. error가 매우 커지는 만약의 경우를 대비해서 Hubber loss를 썼고 occlusion에 대해서는 binary cross entropy를 사용했다;

⚠️ 온전한 이해를 위해서 TAPIR 논문 리뷰 선행 권장

Paper link : https://arxiv.org/abs/2402.00847

➡️ Abstract

• Tracking-Any-Point(이하 TAP) : 비디오 데이터에서 조밀한 시공간 내의 특정 지점을 추적하는 알고리즘
• 해당 논문에서는 실제 large-scale, unlabeled, uncurated 데이터를 사용한 self-supervised learning을 통해서, 약간의 모델 구조 변화로도 TAP 모델의 성능 향상이 가능하다는 점을 시사함
• TAP-Vid benchmark의 기존 SOTA 모델 성능을 크게 뛰어넘었음
  • TAP-Vid-DAVIS : 61.3% → 66.4%
  • TAP-Vid-Kinetics : 57.2% → 61.5%

➡️ Introduction

• 최근 vision 모델의 발전이 지속되고 있으나, 여전히 물리 공간적인 추론 능력 부족이 SOTA 모델들의 약점
• 복잡한 움직임과 물리적인 상호작용을 이해해야 하는 robotics, video generation/editing, 3D asset creation와 같은 작업에서 TAP은 정확한 움직임을 표현하기 위한 유망한 알고리즘
  • 고체 표면에 대해서 일치하는 점을 추적하는 방식을 통해, 물체의 deformation과 motion에 대한 가치 있는 정보를 얻을 수 있음
• TAP은 비디오 데이터와 움직임 추적을 위한 query point 집합을 입력으로 받고, 비디오의 매 frame 마다 해당 query point들의 추적된 위치를 출력해야 함
  • 만약 중간에 query point가 사라지는 경우, 해당 frame에서 point가 투명해진(occluded) 정도도 함께 모델링함
• TAP 모델을 만들기 어려운 이유는 현실적인 training data의 부족
  • 이유 1: 부정확하고 균일하지 못한 수동 labeling 방식
  • 이유 2: 특수한 상황에서만 사용할 수 있는 3D sensing 방식
  • 따라서, 현재 SOTA 모델은 임의 생성(synthetic) 데이터에 의존
• 해당 논문은 unlabeled 데이터를 사용해서 TAP 성능을 향상하는 방식을 제안
  • 만약 주어진 video에 대한 추적이 잘 이루어졌다면 아래 3가지 항목들이 지켜져야 함 (지켜지지 않아서 생기는 error를 학습을 위해 사용)
    1. video와 trajectory에 대한 spatial transformation이 동일
    2. 동일한 trajectory 위에 존재하는 query point들은 동일한 추적값 산출
    3. 이미지 압축과 같이 비공간적인 데이터 augmentation을 한 경우, 동일한 결과 산출

➡️ Method

self-training TAP을 개발함에 있어서 저자는 optical flow와 비슷하게 TAP도 query point들에 대한 정확한 정답이 존재한다는 점에 주목했다. 이는 의미적으로 비슷한 이미지가 비슷한 표현을 갖는 한, 다른 self-supervised 방법론과는 구분되는 특징이다. 

제시한 방법론은 단단하고 불투명한 표면 위의 point 추적에 대해서 아래 두 가지 조건에 기반한다.

1. affine tranformation과 같은 spatial transformation를 video에 적용한 결과와 point tracks(trajectory)에 적용한 결과는 동일
2. track 위의 어떤 point를 query로 사용하더라도 산출되는 결과는 동일

저자는 위의 두 조건을 만족시키기 위해 Siamess 구조를 사용할 수 도 있지만, 이러한 방법은 예측 결과 성능이 좋지 않았다고 한다. 대신 Student-Teacher 구조를 사용했는데, student는 augmentation을 통해 더 어려운 데이터를 입력으로 받고 teacher은 gradient를 전달받지 않는 것이 특징이다.

모델은 Kubric 데이터 셋으로 pre-trained된 TAPIR network로 시작된다. 모델의 예측값을 \(\hat{y}=\{\hat{p}[t], \hat{o}[t] , \hat{u}[t]\}\)라 하자. 이때 \(\hat{p}\in\mathbb{R}^{T\times2}\)는 위치값(position), \(\hat{o}\in\mathbb{R}^{T}\)는 투명도(occlusion logit), \(\hat{u}\in\mathbb{R}^{T}\)는 불확실도(uncentainty logit)이고 \({T}\)는 frame수 이다. \({p[t]}\)와 \({o[t]}\)는 frame \({t}\)에서의 ground truth이고, 하나의 trajectory에 대한 TAPIR loss는 아래와 같이 정의된다.

$ \begin{array}{rlr}{{\mathcal{L}_{tapir}}(\hat{p}[t],\hat{o}[t],\hat{u}[t])} & {=\operatorname{Huber}({\hat{p}}[t],p[t])(1-\hat{o}[t])} & \text{Position loss}\\ {} & {\quad\operatorname{+BCE}({\hat{o}[t], o[t]})} & \text{Occlusion loss}\\ {} & {{\quad\operatorname{+BCE}({\hat{u}}[t],u[t])(1-{\hat{o}}[t])}} & \text{Uncertainty loss}\end{array}  \tag{1}$

불확실도(uncerntainty logit)는 \({u[t]}= \unicode{x1D7D9} (d(p[t],\hat{p}[t] > \delta))\)으로, \({d}\)는 \({L}_2\) 거리이며 \({\delta}\)는 6 pixel로 설정된 거리의 threshold 값이고 \({ \unicode{x1D7D9} }\)는 특성 함수(indicator function)이다. 즉, 불확실도는 모델의 예측값이 ground truth의 근처(threshold 만큼)에 위치하게끔 학습하게 하는 효과를 준다. 

pre-training 이후에는 추가 convolutional residual layer를 추가해서 추가 학습 데이터를 입력받을 수 있게 한다. \(\hat{y}_\mathcal{S}=\{\hat{p}_ \mathcal{S} , \hat{o}_ \mathcal{S} , \hat{u}_ \mathcal{S} \}\)를 student의 예측값이라고 하고, teacher의 예측 \(\hat{y}_\mathcal{T}=\{\hat{p}_ \mathcal{T} , \hat{o}_ \mathcal{T} , \hat{u}_ \mathcal{T} \}\)으로 부터 pseudo-labels \({y}_\mathcal{T}=\{{p}_ \mathcal{T} , {o}_ \mathcal{T} , {u}_ \mathcal{T} \}\)를 뽑는다. ( \({t}\)는 시간 index )

$ p_\mathcal{T}[t]=\hat{p}_\mathcal{T}[t]\quad;\quad o_\mathcal{T}[t]=\unicode{x1D7D9}(\hat{o}_\mathcal{T}[t]>0);\quad u_\mathcal{T}[t]= \unicode{x1D7D9}(d(p_\mathcal{T}[t],\hat{p}_\mathcal{S}[t])>\delta) \tag{2} $

video frame \({t}\)에서의 loss값 \({\ell_{s s l}(\hat{p}_\mathcal{S}[t], \hat{o}_\mathcal{S}[t], \hat{u}_\mathcal{S}[t])}\) 는 TAPIR loss로부터 구할 수 있고, 이는 pseudo-label로써 ground truth로 사용하며 다음과 같이 정의된다.

$  \begin{array}{rl}{{\ell_{tapir}}(\hat{p}_\mathcal{S}[t],\hat{o}_\mathcal{S}[t],\hat{u}_\mathcal{S}[t])} & {=\operatorname{Huber}({\hat{p}}_\mathcal{S}[t],p_\mathcal{T}[t])(1-{o}_\mathcal{T}[t])} \\ {} & {\quad\operatorname{+BCE}({\hat{o}_\mathcal{S}[t], o_\mathcal{T}[t]})} \\ {} & {{\quad\operatorname{+BCE}({\hat{u}}_\mathcal{S}[t],u_\mathcal{T}[t])(1-{{o}}_\mathcal{T}[t])}} \end{array}  \tag{3} $

TAPIR의 loss는 여러 번 refinement iteration을 거치게 되고, teacher의 마지막 단계의 refine 된 예측값을 ground  truth로 사용하기 때문에 refine 되지 않은 데이터가 더 빠르게 수렴할 수 있게 돕는 역할을 할 수 있다.

만약 위의 식이 잘 정의되었다면 student와 teacher가 동일한 video query point를 입력받았을 때, loss 값은 아주 작아야 한다. 이러한 특성을 학습하게 하기 위해서 input video query에 대해서 affine tranformation과 같은 \({\Phi}\)를 pixel에 적용시켜서 낮은 resolution을 갖도록 사이즈를 줄이고, 예측을 더욱 어렵게 하기 위해 JPEG degradation을 적용한 이미지를 student에 전달하여 track을 연산하게 한다. 출력 값에 \({\Phi}^{-1}\)를 적용시켜 입력 좌표공간으로 되돌린 다음 teacher의 track과의 비교를 통해 loss를 계산한다.

또한 저자는 동일한 같은 track 위의 query points 짝에 대해서 teacher의 두 예측값이 같은 값을 출력하도록 하도록 frame별 loss 함수를 수정하는 두 가지의 계수를 추가했다. 첫 번째로, 먼저 \(Q_1 = (q_1, t_1)\)을 뽑았는데 \(q_{1}\)은 \({(x, y)}\)형식의 좌표이고 \({t_1}\)은 frame index이며 두 값은 랜덤하게 sampling한다. 그 후에 student의 query는 teacher의 trajectory 위에서 랜덤하게 뽑는다. (\({i.e.}\quad Q_2=(q_2,t_2)\in\{(p_\mathcal{T}[t],t);t \quad s.t. \quad o_\mathcal{T}[t]=0\}\))

하지만 teacher가 query point를 잘 추적(track) 하지 못하는 경우가 있을 수 있는데, 그럴 경우 student는 더더욱 추적을 잘하지 못할 것이다. 이러한 경우를 막기 위해서 저자는 cycle-consistency를 도입했다. valid 한 trajectory를 구분하는 mask를 계산해서 valid 하지 않은 경우는 loss 계산을 하지 않고 무시하는 방법인데, 이때 사용되는 mask는 다음과 같이 정의된다. ( \(\delta{cycle}\)은 거리 threshold이며, 저자는 4 pixel을 사용했다, 위 Fig. 2의 주황 원형 영역 참고 )

$ m_{c y c l e}= \unicode{x1D7D9} \left(d({\hat{p}}s[t_{1}],q_{1}\right)<\delta_{c y c l e})\quad*\quad \unicode{x1D7D9} \left(\delta s[t_{1}]\leq0\right) \tag{4} $

두 번째로, frame index \({t}\)의 위치에 따른 정확도 차이를 고려하는 proximity를 도입했다. 저자는 student의 query frame에 가까운 포인트들에 대해서는 teacher의 예측값보다 student의 예측값이 더 정확할 것이라고 생각했다. 이를 반영해서 정의한 mask는 다음과 같다. ( Fig. 2의 회색 사각 영역 참고 ) 

$ m^t_{proximity}= \unicode{x1D7D9}(|t-t_1| \leq |t-t_2|) \tag{5} $

위 \({(4)}\)와 \({(5)}\)를 통해 계산한 최종 loss는 아래와 같다.

$ \mathcal{L}_{S S L} = \sum\limits_{t}{m}_{\scriptscriptstyle{c y c l e}}^{t} \ast m_{p r o x i m i t y}^{t}\ast\ell_{\scriptscriptstyle{S S l}}^{t} \tag{6} $