video_interpolate_flow — LIVE4D `time` op

• Datenarten: video → video

• Aufruf: import fullseye as fs; fs.ledger.video_interpolate_flow(video, factor: 'int' = 2, win: 'int' = 3, pyr_levels: 'int' = 3, iters: 'int' = 3, reg: 'float' = 0.001, occlusion_tau: 'float' = 1.0) -> 'np.ndarray' (die Implementierung direkt: import live4d; live4d.video_interpolate_flow(video, factor: 'int' = 2, win: 'int' = 3, pyr_levels: 'int' = 3, iters: 'int' = 3, reg: 'float' = 0.001, occlusion_tau: 'float' = 1.0) -> 'np.ndarray'; aus dem Register: opslive4d.get("video_interpolate_flow"))

Verwendung

Interpoliert ein Video (T, H, W) entlang des Flusses zu (T + (T − 1)(factor − 1), H, W) (video, zeitliche Superauflösung).

Zwischen benachbarten Frames a und b werden factor − 1 Frames als gewichtetes Mittel der Bilder erzeugt, die mit dem Vorwärtsfluss (a → b) bzw. dem Rückwärtsfluss (b → a) zurückgezogen wurden (der Fluss wird an der Position des Ausgabepixels abgetastet, eine Näherung -- wo das Feld nicht gleichförmig ist, entsteht ein Versatz, weil eine am Startpunkt definierte Verschiebung am Endpunkt gelesen wird; streng genommen müsste die inverse Abbildung gelöst werden, was hier nicht geschieht). Das Gewicht ist zeitliche Nähe × Hin-und-Rück-Konsistenz (für den Fehler der Rückkehr über a → b → a, e, gilt exp(−e / occlusion_tau)) -- an Stellen, die wegen Verdeckung oder fehlgeschlagener Schätzung nicht zurückkehren, wird dem Bild dieser Seite nicht vertraut. Zu große Verschiebungen (von der Pyramide nicht verfolgbar) und neu auftauchende Objekte lassen sich nicht interpolieren und ergeben Doppelbilder -- Interpolation ist ein Werkzeug, um "zwischen Messungen aufzufüllen", nicht um Nichtvorhandenes zu erfinden. Prüfung mit Ground Truth: mit 2-facher Bildrate synthetisieren → auf die Hälfte ausdünnen → interpolieren → mit den entfernten Frames vergleichen (examples/poc_live4d.py).

Ausführlicher Anwendungsleitfaden

• Leitfaden zur Familie live4d

Referenzen (Beispieldaten, Literatur)

• Katalog der Beispieldaten (Download-URLs / Lizenzen) — 2-D nutzt skimage.data (BSD/Public Domain) plus synthetische Bilder, 3-D nennt Download-URLs echter Datenquellen (Stanford, PDS, …).

• Herkunft und Literatur der Operatoren — die Quellen der Forschung/Verfahren, auf denen diese Operatorfamilie beruht.

• Der kanonische Algorithmus (Autor, Jahr) und seine Anwendungen stehen im Familienleitfaden oben.

Ausführbare Beispiele (verifizierte Samples, die diesen Operator wirklich aufrufen)

• (noch keine)

Typkompatible Folge-Operatoren (nehmen `video` als Eingabe)

—

Gleiche Kategorie (`time`)

volseq_interpolate_flow · volseq_magnify_motion

*Provenance: live4d.py — LIVE4D Operator-Registry. Diese Notiz wird von tools/opdocs.py md erzeugt (nicht von Hand bearbeiten).*

video_interpolate_flow — LIVE4D time op