video_interpolate_flow — LIVE4D `time` op

• 資料種類:video → video

• 呼叫: import fullseye as fs; fs.ledger.video_interpolate_flow(video, factor: 'int' = 2, win: 'int' = 3, pyr_levels: 'int' = 3, iters: 'int' = 3, reg: 'float' = 0.001, occlusion_tau: 'float' = 1.0) -> 'np.ndarray'(要直接呼叫實作,import live4d; live4d.video_interpolate_flow(video, factor: 'int' = 2, win: 'int' = 3, pyr_levels: 'int' = 3, iters: 'int' = 3, reg: 'float' = 0.001, occlusion_tau: 'float' = 1.0) -> 'np.ndarray';從台帳取用則 opslive4d.get("video_interpolate_flow"))

用法

沿流動對影片 (T, H, W) 內插，得到 (T + (T − 1)(factor − 1), H, W)(video，時間超解析度)。

在相鄰影格 a、b 之間,用前向流(a → b)與後向流(b → a) 分別拉回的影像的加權平均產生 factor − 1 張(流是在輸出像素位置取樣的近似 —— 在場不均勻處, 會出現在終點讀取以起點定義的位移所造成的偏差。嚴格來說需要求解逆映射,這裡不做)。權重為時間上的接近度 × 往返一致性(對 a → b → a 返回的誤差 e 取 exp(−e / occlusion_tau))—— 因遮蔽或估計失敗而回不來的地方,不信任該側的影像。過大的位移(金字塔追不上)或新出現的物體無法內插,會形成重影 —— 內插是「填補實測之間」的工具,不是發明不存在之物的工具。帶真值的驗證:以 2 倍影格率合成 → 抽掉一半 → 內插 → 與抽掉的影格比較(examples/poc_live4d.py)。

詳細使用指南

• live4d 族使用指南

參考(範例資料、文獻)

• 範例資料目錄(下載 URL / 授權) —— 2-D 用 skimage.data(BSD/公有領域)加合成圖,3-D 給出真實資料源(Stanford/PDS 等)的下載 URL。

• 運算子來歷與參考文獻 —— 該運算子族所依據的研究/方法出處。

• 演算法的正典(作者、年份)與用途見上面的族使用指南。

可執行的範例(實際呼叫該運算子並已驗證的樣例)

• (尚無)

型別可銜接的下一個運算子(可接受 `video` 作為輸入)

—

同類別(`time`)

volseq_interpolate_flow · volseq_magnify_motion

*Provenance: live4d.py — LIVE4D 運算子登記表。本條目由 tools/opdocs.py md 自動產生(請勿手動編輯)。*

video_interpolate_flow — LIVE4D time op

用法