Spiel umziehen - Match moving

"Kameraverfolgung" leitet hierher weiter. Informationen zu anderen Verwendungszwecken finden Sie unter Bewegungsverfolgung .

Bei visuellen Effekten ist Match-Moving eine Technik, die das Einfügen von Computergrafiken in Live-Action- Filmmaterial mit korrekter Position, Skalierung, Ausrichtung und Bewegung relativ zu den fotografierten Objekten in der Aufnahme ermöglicht . Der Begriff wird lose verwendet, um verschiedene Methoden zum Extrahieren von Kamerabewegungsinformationen aus einem Bewegtbild zu beschreiben . Match-Moving wird manchmal auch als Motion-Tracking oder Camera Solving bezeichnet und hängt mit Rotoskopie und Photogrammetrie zusammen . Match-Moving wird manchmal mit Motion Capture verwechselt , bei dem die Bewegung von Objekten, oft menschlichen Schauspielern, und nicht der Kamera aufgezeichnet wird. Typischerweise erfordert spezielle Motion - Capture - Kameras und Sensoren und eine kontrollierte Umgebung (wenngleich die jüngsten Entwicklungen wie die Kinect Kamera und Apple - s Face ID haben diese begonnen zu ändern). Match-Moving unterscheidet sich auch von Motion Control-Fotografie , bei der mechanische Hardware verwendet wird, um mehrere identische Kamerabewegungen auszuführen. Match-Moving hingegen ist typischerweise eine softwarebasierte Technologie, die nachträglich auf normales Filmmaterial angewendet wird, das in unkontrollierten Umgebungen mit einer gewöhnlichen Kamera aufgenommen wurde.

Match-Moving wird hauptsächlich verwendet, um die Bewegung einer Kamera durch eine Aufnahme zu verfolgen, damit eine identische virtuelle Kamerabewegung in einem 3D-Animationsprogramm reproduziert werden kann . Wenn neue animierte Elemente wieder in die ursprüngliche Live-Action-Aufnahme eingefügt werden, erscheinen sie in perfekt angepasster Perspektive und erscheinen daher nahtlos.

Da es sich hauptsächlich um Software handelt, ist das Verschieben von Spielen immer erschwinglicher geworden, da die Kosten für die Computerleistung gesunken sind. Es ist mittlerweile ein etabliertes Visual-Effects-Tool und wird sogar in Live-Fernsehübertragungen verwendet , um Effekte wie die gelbe virtuelle Downline im American Football bereitzustellen .

Prinzip

Der Vorgang des Streichens von Streichhölzern kann in zwei Schritte unterteilt werden.

Verfolgung

Der erste Schritt besteht darin , Merkmale zu identifizieren und zu verfolgen . Ein Merkmal ist ein bestimmter Punkt im Bild, an dem ein Tracking-Algorithmus festhalten und mehrere Frames verfolgen kann ( SynthEyes nennt sie Blips ). Oft werden Merkmale ausgewählt, weil es sich je nach dem jeweiligen Tracking-Algorithmus um helle/dunkle Flecken, Kanten oder Ecken handelt. Beliebte Programme verwenden Template-Matching basierend auf NCC-Score und RMS-Fehler . Wichtig ist, dass jedes Merkmal einen bestimmten Punkt auf der Oberfläche eines realen Objekts darstellt. Wenn ein Feature verfolgt wird, wird es zu einer Reihe von zweidimensionalen Koordinaten, die die Position des Features über eine Reihe von Frames hinweg darstellen. Diese Serie wird als "Track" bezeichnet. Einmal erstellte Tracks können sofort für 2D-Motion-Tracking verwendet oder anschließend zur Berechnung von 3D-Informationen verwendet werden.

Kalibrierung

Hauptartikel: Geometrische Kamerakalibrierung

Der zweite Schritt beinhaltet das Auflösen nach 3D-Bewegung. Dieser Prozess versucht, die Bewegung der Kamera abzuleiten, indem die inverse Projektion der 2D-Pfade für die Position der Kamera aufgelöst wird. Dieser Vorgang wird als Kalibrierung bezeichnet .

Wenn ein Punkt auf der Oberfläche eines dreidimensionalen Objekts fotografiert wird, kann seine Position im 2D-Rahmen durch eine 3D-Projektionsfunktion berechnet werden . Wir können eine Kamera als Abstraktion betrachten, die alle notwendigen Parameter enthält, um eine Kamera in einer realen oder virtuellen Welt zu modellieren. Daher ist eine Kamera ein Vektor, der als seine Elemente die Position der Kamera, ihre Ausrichtung, Brennweite und andere mögliche Parameter enthält, die definieren, wie die Kamera Licht auf die Filmebene fokussiert . Die genaue Konstruktion dieses Vektors ist nicht wichtig, solange es eine kompatible Projektionsfunktion P gibt .

Die Projektionsfunktion P nimmt als Eingabe einen Kameravektor (mit Kamera bezeichnet ) und einen weiteren Vektor die Position eines 3D-Punktes im Raum (mit xyz bezeichnet ) und gibt einen 2D-Punkt zurück, der auf eine Ebene vor der Kamera projiziert wurde (mit XY . bezeichnet). ). Wir können dies ausdrücken:

XY = P( Kamera , xyz )
Eine Illustration der Feature-Projektion. Um das Rendering einer 3D-Struktur herum stellen rote Punkte Punkte dar, die durch den Tracking-Prozess ausgewählt werden. Kameras in Bild i und j projizieren die Ansicht in Abhängigkeit von den Parametern der Kamera auf eine Ebene. Auf diese Weise entsprechen in 2D verfolgte Merkmale realen Punkten in einem 3D-Raum. Obwohl diese spezielle Illustration computergeneriert ist, wird das Match-Moving normalerweise an realen Objekten durchgeführt.

Die Projektionsfunktion transformiert den 3D-Punkt und entfernt die Tiefenkomponente. Ohne die Tiefe der Komponente zu kennen, kann eine inverse Projektionsfunktion nur einen Satz möglicher 3D-Punkte zurückgeben, die eine Linie bilden, die vom Knotenpunkt des Kameraobjektivs ausgeht und durch den projizierten 2D-Punkt verläuft. Wir können die inverse Projektion wie folgt ausdrücken:

xyz ∈ P'( Kamera , XY )

oder

{ xyz : P ( Kamera , xyz ) = XY }

Nehmen wir an, wir befinden uns in einer Situation, in der sich die Merkmale, die wir verfolgen, auf der Oberfläche eines starren Objekts wie eines Gebäudes befinden. Da wir wissen, dass der reale Punkt xyz im realen Raum von einem Frame zum nächsten an der gleichen Stelle bleibt, können wir den Punkt zu einer Konstante machen, obwohl wir nicht wissen, wo er ist. So:

xyz i = xyz j

wobei sich die Indizes i und j auf beliebige Frames in der Aufnahme beziehen, die wir analysieren. Da dies immer der Fall ist, wissen wir Folgendes:

P'( Kamera i , XY i ) ∩ P'( Kamera j , XY j ) ≠ {}

Da der Wert von XY i für alle Frames bestimmt wurde, durch die das Feature vom Tracking-Programm verfolgt wird, können wir die Rückprojektionsfunktion zwischen zwei beliebigen Frames lösen, solange P'( Kamera i , XY i ) ∩ P'( Kamera j , XY j ) ist ein kleiner Satz. Satz möglicher Kameravektoren , die die Gleichung bei i und j lösen (bezeichnet als C ij ).

C ij = {( Kamera i , Kamera j ):P'( Kamera i , XY i ) ∩ P'( Kamera j , XY j ) ≠ {})

Es gibt also eine Menge von Kameravektorpaaren C ij , für die der Schnittpunkt der inversen Projektionen zweier Punkte XY i und XY j eine nicht leere, hoffentlich kleine Menge ist, die auf einen theoretischen stationären Punkt xyz zentriert ist .

Mit anderen Worten, stellen Sie sich einen schwarzen Punkt vor, der in einer weißen Leere schwebt, und eine Kamera. Für jede Position im Raum, an der wir die Kamera platzieren, gibt es eine Reihe entsprechender Parameter (Ausrichtung, Brennweite usw.), die diesen schwarzen Punkt genau auf dieselbe Weise fotografieren. Da C unendlich viele Mitglieder hat, reicht ein Punkt nie aus, um die tatsächliche Kameraposition zu bestimmen.

Wenn wir Tracking-Punkte hinzufügen, können wir die möglichen Kamerapositionen eingrenzen. Wenn wir zum Beispiel eine Menge von Punkten { xyz i,0 ,..., xyz i,n } und { xyz j,0 ,..., xyz j,n } haben, wobei i und j sich immer noch auf Frames beziehen und n ist ein Index zu einem von vielen Tracking-Punkten, die wir verfolgen. Wir können eine Menge von Kameravektorpaarmengen {C i,j,0 ,...,C i,j,n } herleiten .

Auf diese Weise ermöglichen uns mehrere Spuren, die möglichen Kameraparameter einzugrenzen. Der Satz möglicher passender Kameraparameter, F, ist der Schnittpunkt aller Sätze:

F = C i,j,0 ∩ ... ∩ C i,j,n

Je weniger Elemente in diesem Set enthalten sind, desto näher können wir die tatsächlichen Parameter der Kamera extrahieren. In Wirklichkeit erfordern Fehler, die in den Verfolgungsprozess eingeführt werden, einen statistischeren Ansatz zum Bestimmen eines guten Kameravektors für jeden Rahmen, Optimierungsalgorithmen und Bündelblockanpassung werden oft verwendet. Leider gibt es so viele Elemente in einem Kameravektor, dass wir, wenn jeder Parameter frei ist, F möglicherweise immer noch nicht auf eine einzige Möglichkeit eingrenzen können, egal wie viele Merkmale wir verfolgen. Je weiter wir die verschiedenen Parameter, insbesondere die Brennweite, einschränken können, desto einfacher wird es, die Lösung zu finden.

Alles in allem ist der 3D-Lösungsprozess der Prozess, bei dem die möglichen Lösungen für die Bewegung der Kamera eingegrenzt werden, bis wir eine erreicht haben, die den Anforderungen des Composites entspricht, das wir erstellen möchten.

Punktwolkenprojektion

Nachdem die Kameraposition für jedes Bild bestimmt wurde, ist es dann möglich, die Position jedes Merkmals im realen Raum durch inverse Projektion zu schätzen. Der resultierende Satz von Punkten wird wegen seines rohen Aussehens wie ein Nebel oft als Punktwolke bezeichnet . Da Punktwolken oft einen Teil der Form der 3D-Szene offenbaren, können sie als Referenz zum Platzieren von synthetischen Objekten oder von einem Rekonstruktionsprogramm verwendet werden, um eine 3D-Version der tatsächlichen Szene zu erstellen.

Groundplane-Bestimmung

Die Kamera und die Punktwolke müssen in einem Raum ausgerichtet werden. Daher ist es nach Abschluss der Kalibrierung erforderlich, eine Masseebene zu definieren. Normalerweise ist dies eine Einheitsebene, die den Maßstab, die Ausrichtung und den Ursprung des projizierten Raums bestimmt. Einige Programme versuchen, dies automatisch zu tun, obwohl der Benutzer diese Ebene häufiger definiert. Da das Verschieben von Grundebenen eine einfache Transformation aller Punkte durchführt, ist die tatsächliche Position der Ebene wirklich eine Frage der Bequemlichkeit.

Wiederaufbau

Rekonstruktion ist der interaktive Prozess der Wiederherstellung eines fotografierten Objekts unter Verwendung von Tracking-Daten. Diese Technik ist mit der Photogrammetrie verwandt. In diesem speziellen Fall beziehen wir uns auf die Verwendung von Match-Moving-Software, um eine Szene aus zufälligem Filmmaterial zu rekonstruieren.

Ein Rekonstruktionsprogramm kann dreidimensionale Objekte erzeugen, die die realen Objekte aus der fotografierten Szene nachahmen. Unter Verwendung von Daten aus der Punktwolke und der Schätzung des Benutzers kann das Programm ein virtuelles Objekt erstellen und dann eine Textur aus dem Filmmaterial extrahieren, die als Oberflächentextur auf das virtuelle Objekt projiziert werden kann.

2D vs. 3D

Das Verschieben von Streichhölzern hat zwei Formen. Einige Compositing-Programme wie Shake , Adobe After Effects und Discreet Combustion enthalten zweidimensionale Bewegungsverfolgungsfunktionen . Die zweidimensionale Match-Bewegung verfolgt nur Merkmale im zweidimensionalen Raum, ohne sich um Kamerabewegungen oder Verzerrungen zu kümmern. Es kann verwendet werden, um dem Filmmaterial Bewegungsunschärfe- oder Bildstabilisierungseffekte hinzuzufügen . Diese Technik reicht aus, um realistische Effekte zu erzielen, wenn das Originalmaterial keine größeren Änderungen der Kameraperspektive enthält. Beispielsweise kann eine Werbetafel tief im Hintergrund einer Aufnahme oft durch zweidimensionales Tracking ersetzt werden.

Dreidimensionale Match-Moving-Tools ermöglichen es, dreidimensionale Informationen aus zweidimensionaler Fotografie zu extrapolieren. Diese Tools ermöglichen es Benutzern, Kamerabewegungen und andere relative Bewegungen aus beliebigem Filmmaterial abzuleiten. Die Verfolgungsinformationen können an Computergrafiksoftware übertragen und verwendet werden, um virtuelle Kameras und simulierte Objekte zu animieren. Zu den Programmen, die 3D-Match-Moving ermöglichen, gehören:

Automatisches vs. interaktives Tracking

Es gibt zwei Verfahren, mit denen Bewegungsinformationen aus einem Bild extrahiert werden können. Interaktives Tracking, manchmal auch als "überwachtes Tracking" bezeichnet, beruht darauf, dass der Benutzer Merkmalen durch eine Szene folgt. Automatische Verfolgung stützt sich auf Computer - Algorithmen Funktionen durch einen Schuss zu identifizieren und zu verfolgen. Die verfolgten Punktbewegungen werden dann verwendet, um eine "Lösung" zu berechnen. Diese Lösung setzt sich aus allen Kamerainformationen wie Bewegung, Brennweite und Objektivverzerrung zusammen .

Der Vorteil der automatischen Verfolgung besteht darin, dass der Computer viele Punkte schneller erstellen kann als ein Mensch. Eine große Anzahl von Punkten kann mit Statistiken analysiert werden , um die zuverlässigsten Daten zu ermitteln. Der Nachteil des automatischen Trackings besteht darin, dass der Computer je nach Algorithmus leicht verwirrt werden kann, da er Objekte durch die Szene verfolgt. Automatische Tracking-Methoden sind besonders ineffektiv bei Aufnahmen mit schnellen Kamerabewegungen, wie sie mit Handkameras zu sehen sind, und bei Aufnahmen mit sich wiederholenden Motiven wie kleinen Kacheln oder anderen regelmäßigen Mustern, bei denen ein Bereich nicht sehr ausgeprägt ist. Diese Tracking-Methode leidet auch, wenn eine Aufnahme eine große Menge an Bewegungsunschärfe enthält, wodurch die kleinen Details, die sie benötigen, schwerer zu erkennen sind.

Der Vorteil der interaktiven Verfolgung besteht darin, dass ein menschlicher Benutzer Merkmalen durch eine ganze Szene folgen kann und nicht durch nicht starre Merkmale verwirrt wird. Ein menschlicher Benutzer kann auch feststellen, wo sich Merkmale in einer Aufnahme befinden, die unter Bewegungsunschärfe leidet; Für einen automatischen Tracker ist es extrem schwierig, Merkmale mit hoher Bewegungsunschärfe richtig zu finden. Der Nachteil des interaktiven Trackings besteht darin, dass der Benutzer beim Verfolgen von Objekten durch die Szene unweigerlich kleine Fehler einführt, die zu einem sogenannten "Driften" führen können.

Motion-Tracking auf professionellem Niveau wird normalerweise durch eine Kombination aus interaktiven und automatischen Techniken erreicht. Ein Künstler kann eindeutig anomale Punkte entfernen und "Tracking-Matten" verwenden, um verwirrende Informationen aus dem automatischen Tracking-Prozess zu entfernen. Tracking-Matten werden auch verwendet, um Bereiche der Aufnahme abzudecken, die sich bewegende Elemente wie einen Schauspieler oder einen sich drehenden Deckenventilator enthalten.

Verfolgungsmatten

Eine Tracking-Matte ähnelt im Konzept einer Garbage-Matte, die beim Zusammensetzen von Wandermatten verwendet wird . Der Zweck einer Tracking-Matte besteht jedoch darin, zu verhindern, dass Tracking-Algorithmen unzuverlässige, irrelevante oder nicht starre Tracking-Punkte verwenden. In einer Szene, in der ein Schauspieler beispielsweise vor einem Hintergrund läuft, möchte der Tracking-Künstler nur den Hintergrund verwenden, um die Kamera durch die Szene zu verfolgen, da er weiß, dass die Bewegung des Schauspielers die Berechnungen zunichte macht. In diesem Fall erstellt der Künstler eine Tracking-Matte, um dem Schauspieler durch die Szene zu folgen und diese Informationen aus dem Tracking-Prozess zu blockieren.

Veredelung

Da es oft mehrere mögliche Lösungen für den Kalibrierungsprozess gibt und sich eine beträchtliche Menge an Fehlern ansammeln kann, besteht der letzte Schritt der Anpassungsbewegung oft darin, die Lösung von Hand zu verfeinern. Dies könnte bedeuten, die Kamerabewegung selbst zu ändern oder Hinweise auf den Kalibrierungsmechanismus zu geben. Diese interaktive Kalibrierung wird als "Refining" bezeichnet.

Die meisten Anwendungen zum Verschieben von Streichhölzern basieren auf ähnlichen Algorithmen für die Verfolgung und Kalibrierung. Oft sind die erhaltenen ersten Ergebnisse ähnlich. Jedes Programm verfügt jedoch über unterschiedliche Verfeinerungsfunktionen.

Echtzeit

In der Spielfilmproduktion wird die Echtzeit-Kameraverfolgung am Set immer häufiger verwendet, um Elemente, die in der Postproduktion eingefügt werden, live am Set zu visualisieren. Dies hat den Vorteil, dass der Regisseur und die Schauspieler ihre Leistungen verbessern können, indem sie Set-Erweiterungen oder CGI-Charaktere sehen, während (oder kurz danach) sie eine Aufnahme machen. Sie müssen keine Green/Blue-Screens mehr durchführen und haben keine Rückmeldung über das Endergebnis. Eye-Line-Referenzen, Schauspielerpositionierung und CGI-Interaktion können jetzt live am Set durchgeführt werden, was jedem die Gewissheit gibt, dass die Aufnahme korrekt ist und im endgültigen Composite funktioniert.

Um dies zu erreichen, müssen mehrere Komponenten von der Hardware bis zur Software kombiniert werden. Die Software sammelt alle 360-Grad-Freiheitsbewegungen der Kamera sowie Metadaten wie Zoom, Fokus, Blende und Verschlusselemente von vielen verschiedenen Arten von Hardwaregeräten, angefangen von Motion-Capture-Systemen wie dem aktiven LED-Marker-basierten System von PhaseSpace, passive Systeme wie Motion Analysis oder Vicon bis hin zu Drehgebern, die an Kamerakränen und Dollys wie Technocranes und Fisher Dollies angebracht sind, oder direkt an der Kamera montierten Trägheits- und Kreiselsensoren. Es gibt auch laserbasierte Tracking-Systeme, die an alles angebracht werden können, einschließlich Steadicams, um Kameras draußen im Regen auf Entfernungen von bis zu 30 Metern zu verfolgen.

Bewegungssteuerungskameras können auch als Quelle oder Ziel für 3D-Kameradaten verwendet werden. Kamerabewegungen können vorab visualisiert und dann in Bewegungssteuerungsdaten umgewandelt werden, die einen Kamerakran genau auf dem gleichen Weg wie die 3D-Kamera fahren. Encoder am Kran können auch in Echtzeit am Set verwendet werden, um diesen Prozess umzukehren, um Live-3D-Kameras zu generieren. Die Daten können an eine beliebige Anzahl verschiedener 3D-Anwendungen gesendet werden, sodass 3D-Künstler ihre CGI-Elemente auch live am Set modifizieren können. Der Hauptvorteil besteht darin, dass Set-Design-Probleme, die später zeitaufwändig und kostspielig wären, während des Drehprozesses aussortiert werden können, um sicherzustellen, dass die Schauspieler während ihrer Aufführungen in jede Umgebung für jede Einstellung "passen".

Echtzeit-Motion-Capture-Systeme können auch innerhalb des Kameradatenstroms gemischt werden, sodass virtuelle Charaktere in Live-Aufnahmen am Set eingefügt werden können. Dies verbessert die Interaktion zwischen echten und nicht-echten MoCap-gesteuerten Charakteren dramatisch, da sowohl Platten- als auch CG-Performances zusammen choreografiert werden können.

Siehe auch

Verweise

  • Matchmoving: The Invisible Art of Camera Tracking , von Tim Dobbert, Sybex, Feb. 2005, ISBN  0-7821-4403-9
  • 3D-Schätzung und Anwendungen für Spielbewegungen - Ein früher Artikel über Spielbewegungen, der sich eingehend mit Mathematik befasst.
  • Vergleich von Matchmoving- und Tracking-Anwendungen
  • Tracking- und 3D-Matchmoving-Tutorials *Dead Link*

Externe Links