video_interpolate_flow — LIVE4D `time` op

• 数据种类:video → video

• 调用: import fullseye as fs; fs.ledger.video_interpolate_flow(video, factor: 'int' = 2, win: 'int' = 3, pyr_levels: 'int' = 3, iters: 'int' = 3, reg: 'float' = 0.001, occlusion_tau: 'float' = 1.0) -> 'np.ndarray'(要直接调用实现,import live4d; live4d.video_interpolate_flow(video, factor: 'int' = 2, win: 'int' = 3, pyr_levels: 'int' = 3, iters: 'int' = 3, reg: 'float' = 0.001, occlusion_tau: 'float' = 1.0) -> 'np.ndarray';从台账取用则 opslive4d.get("video_interpolate_flow"))

用法

沿流动对视频 (T, H, W) 插值，得到 (T + (T − 1)(factor − 1), H, W)(video，时间超分辨率)。

在相邻帧 a、b 之间,用前向流(a → b)与后向流(b → a) 分别拉回的图像的加权平均生成 factor − 1 张(流是在输出像素位置采样的近似 —— 在场不均匀处, 会出现在终点读取以起点定义的位移所造成的偏差。严格来说需要求解逆映射,这里不做)。权重为时间上的接近度 × 往返一致性(对 a → b → a 返回的误差 e 取 exp(−e / occlusion_tau))—— 因遮挡或估计失败而回不来的地方,不信任该侧的图像。过大的位移(金字塔追不上)或新出现的物体无法插值,会形成重影 —— 插值是 “填补实测之间”的工具,不是发明不存在之物的工具。带真值的验证:以 2 倍帧率合成 → 抽掉一半 → 插值 → 与抽掉的帧比较(examples/poc_live4d.py)。

详细使用指南

• live4d 族使用指南

参考(示例数据、文献)

• 示例数据目录(下载 URL / 许可证) —— 2-D 用 skimage.data(BSD/公有领域)加合成图,3-D 给出真实数据源(Stanford/PDS 等)的下载 URL。

• 算子来历与参考文献 —— 该算子族所依据的研究/方法出处。

• 算法的正典(作者、年份)与用途见上面的族使用指南。

可运行的示例(实际调用该算子并已验证的样例)

• (暂无)

类型可衔接的下一个算子(可接受 `video` 作为输入)

—

同类别(`time`)

volseq_interpolate_flow · volseq_magnify_motion

*Provenance: live4d.py — LIVE4D 算子登记表。本条目由 tools/opdocs.py md 自动生成(请勿手工编辑)。*

video_interpolate_flow — LIVE4D time op

用法