Automoculus

English

Für den Film wurde innerhalb seiner 100-jährigen Geschichte eine ausgefeilte Technik der Kamerainszenierung entwickelt, die die Erzählung verdichtet, stilistisch prägt und die Aufmerksamkeit des Zuschauers im Sinne der Dramaturgie lenkt. Dem Computerspiel bleiben diese Techniken bisher aufgrund der Interaktivität des Spielgeschehens verwehrt, obwohl die Berechnung der Bilder zu allen aus dem Film bekannten Perspektiven technisch längst möglich ist.

Automoculus versucht, die Gesetzmäßigkeiten der filmischen Kamerainszenierung mit maschinellen Lernverfahren zu lernen und auf die interaktive Handlung eines Spiels zu übertragen. Dafür wurden über 40 Filmszenen in einer eigens entwickelten formalen Sprache dokumentiert. Mit diesen Trainingsdaten wurden mehrere Lernverfahren trainiert, sodass Automoculus in der Lage ist, aus während der Laufzeit erzeugten Handlungselementen Kameraeinstellungen zu bestimmen und die passende Kameraposition zu berechnen. Die Funktionsfähigkeit des Verfahrens wurde anhand mehrerer reproduzierbarer Beispiele belegt.

Technisch benutzt Automoculus das freie 3D-Modeling-Programm Blender, um die Szenen zu definieren, JetBrains MPS für die Skripte in der formalen Sprache und Python mit den Bibliotheken Scipy und skLearn, für das Optimieren der Kamerapositionen und die Lernverfahren. Mittels der Skriptingmöglichkeiten von Blender arbeiten die Mechanismen von Automoculus mit dem mächtigen 3D-Programm zusammen.

Die gesamte Arbeit kann hier (27,5 MB) heruntergeladen werden. Eine Zusammenfassung über zwei Seiten finden Sie hier. Die Quelltexte sind in diesem Github-Repository zum Download verfügbar. Folgende Beispielvideos zeigen Automoculus in Aktion:

Gutachten

Erstgutachten von PD Dr. Habil. Andreas Rauscher:

Die Annäherung zwischen Filmen und Videospielen bildet nicht nur im Hinblick auf die theoretische Fragestellungen der Medienkonvergenz ein zentrales Thema, sondern auch in der medienpraktischen Arbeit, sowohl im Bereich des Gamedesign, als auch bezüglich der ästhetischen Ausdrucksmittel des digitalen Kinos.

In seiner kenntnisreichen und praxisbezogenen Diplomarbeit Automoculus - Filmische Kameraführung in Videospielen thematisiert Herr Merkert die "Vision einer Spielkamera, die nach den klassischen Regeln des Films inszeniert" (S.5).

Ausgehend von einer theoretischen Betrachtung der Kameraführung in Spielen widmet sich die zweite Hälfte der Arbeit der Entwicklung der praktischen Anwendung Automoculus zur dynamischen Berechnung von Kamerapositionen in Videospielen.

Beeindruckend erscheint an der detaillierten Arbeit die mit enormem Aufwand realisierte praktische Komponente, die auf einer sorgfältigen theoretischen Auseinandersetzung mit aktuellen Positionen der Game Studies, unter anderem mit den Raumkonzepten von Michael Nitsche, gründet.

Im theoretischen Teil behandelt der Verfasser unter besonderer Berücksichtigung der Interaktivität, wie sich "filmische Mechanismen" und "spieleigenen Elemente zur Emotionssteuerung." (S. 6) ergänzen. Die gängigen Perpektiven in Videospielen wie 1st und 3rd-Person-Perspektive werden ebenso wie der genrespezifische Wechsel zwischen weitflächigen Hintergrundbildern und Close-Ups in Point-and-Click-Adventures pointiert in die Argumentation einbezogen. Für eine Übertragung filmischer Gestaltungsprinzipien auf interaktive Strukturen besonders relevante Probleme wie ortsgebundene Einstellungen in den Spielen Resident Evil und Silent Hill werden ebenfalls berücksichtigt.

Die Integration von vorgefertigten, nicht vom Spieler beeinflussbaren, filmischen Cutscenes wird präzise als Ergänzung vom "im interaktiven Teil fehlende[n] Emotionen und Details" (S. 22) charakterisiert.

Lediglich die Einschätzung, dass es sich beim Film um ein rein passiv rezipiertes Medium handelt (vgl. S. 34), sollte angesichts neuerer filmtheoretischer Entwicklungen noch einmal überdacht werden.

Die als Medienübergang diskutierten Videospielverfilmungen und Machinimas (S. 25-31) entfernen sich gelegentlich zu sehr von der ursprünglichen Fragestellung, sie könnten jedoch im Fall der mit Hilfe von Videospiel-Engines erzeugten Machinima-Kurzfilme eine aufschlussreiche Basis für weitere Überlegungen zum Wechselverhältnis von Inszenierung und Performance bieten.

Die im Kapitel "Visionen der Automatisierung" (S. 34-40) entworfenen Ansätze zur Interaktivität als "größte Chance" und "größte Herausforderung für eine Erzählung im Spiel" (S. 34) skizzieren die zentrale Grundlage, auf der die filmisch ausgeprägte "Lenkung von Emotionen" und "Verdichtung der Narration" (S. 35) für Videospiele nutzbar gemacht werden sollen.

Der anschließend mit beachtlichem programmiertechnischen Aufwand und mit Hilfe so genannter Beat-Skripte (S. 44 ff.) erprobte Versuch, "Regisseur und Kameramann im Computer zu finden" (S. 41) erscheint in Bezug auf die Kombination von künstlicher Intelligenz und virtueller Kamera ausgesprochen vielversprechend. Auch für die Methoden der computergestützten Filmanalyse könnten sich daraus produktive Analyseverfahren gewinnen lassen. Als kritische, den positiven Gesamteindruck keineswegs schmälernde Ergänzung möchte ich lediglich darauf hinweisen, dass es für weitere Recherchen sinnvoll wäre die im Kapitel "Kunst als Grenze" (S. 40) angesprochenen Punkte noch weiter zu bedenken und, wenn nicht gerade das utopische Ziel einer Auteur-Applikation verfolgt wird, um theoretische Konzepte zu Videospielen als Kunstform, beispielsweise Ian Bogosts Thesen zu prozeduralen Systemen, zu erweitern.

Angesichts der profunden theoretischen Grundlagen und der eindrucksvollen medienpraktischen Leistung schlage ich folgendes Prädikat vor: Sehr gut (1,0)

Zweitgutachten von Prof. Dr. Norbert Grob:

Herrn Merkert ist mit dieser Studie - das sei bereits an dieser Stelle vermerkt - eine außerordentliche Arbeit gelungen, die im methodischen Ansatz sehr differenziert und präzise, im Aufbau überaus einsichtig überzeugend und in den Thesen ungewöhnlich wagemutig und fantasievoll zu nennen ist. Dem Kandidaten gelingt mit großer Verve die Frage der filmischen Kameraführung in Videospielen zu umreißen und seine Definitionen in Beziehung zu setzen zu jeweils ausgewählten Spielen. Die erste These dazu lautet, "dass in Spielen filmähnlich mit Kamerapositionen umgegangen" werden, dass die "Hardware" inzwischen "eine Grafik im Stil fotorealistisch motivierter Animationsfilme" ermögliche und die "technologischen Voraussetzungen erfüllt" seien, um Inszenierungsstrategien des Films auf die Spiele zu übertragen."

Johannes Merkert geht es dann in seiner Untersuchung darum "ein Verfahren" zu konstatieren, "das eine filmähnliche Inszenierung der Kamera auch in interaktiven Passagen" gestatte. Deshalb gibt er in seinem ersten Hauptteil einen Grundlegenden Überblick über die Geschichte der Kameraführung im Spiel, verweist z.B. auf die erste Kamerafahrt im Spiel, auf die erste subjektive Kamera, auf "ortsfeste Einstellungen", auch auf den Einfluss von Interaktivität auf die Kameraführung. Dabei gelingt ihm in dem knappen Kapitel über den "filmische(n) Look im Spiel" eine sehr prägnante Zusammenfassung.

In seinem zweiten Hauptteil formuliert er dann "die Vision einer Spiel-Kamera, die nach Regeln des Films inszeniert", wobei er "überprüft", "wie sich Spiele prinzipiell verändern müssen und in welchen Grenzen die Qualität der Kunstform Film überhaupt in ein technisches Spielsystem übertragen werden können." Der dritte Hauptteil beschreibt schließlich das "Automoculus-System" und dessen praktische Nutzung für eine Berechnung von Kamerapositionen in Videospielen".

Im Erstgutachten sind die "profunden theoretischen Grundlagen" dieser Magisterarbeit hoch gewürdigt und die "medienpraktische Leistung" im zweiten Teil las "eindrucksvoll" bezeichnet. Dieser Einschätzung möchte ich mich voll und ganz anschließen. Zu würdigen ist auch die souveräne Aufarbeitung der Literatur. Das betrifft nicht nur die Grundlagen-Literatur zum Thema, sondern auch viele Aufsätze in der (inzwischen doch sehr umfangreichen) Literatur im In- wie im Ausland.

Insgesamt ist als Fazit festzuhalten, dass die Studie sorgfältig aufgebaut ist, die wichtigsten Punkte angesprochen sind und die sprachliche Umsetzung einfallsreich und flüssig ist. Herr Merkert hat, wie oben bereits angedeutet, eine durchweg reife, kundige und wohl abgewogene Untersuchung vorgelegt. Er geht behutsam und klar vor, argumentiert mit Kompetenz und Feingefühl und diskutiert seine Thesen einsichtig und fachkundig. So ist die Studie (noch einmal sei auf die überaus kenntnisreiche Aufarbeitung der Literatur zum Thema verwiesen) insgesamt präzise, klug und kenntnisreich zu nennen. Ich bewerte sie deshalb mit der Note "sehr gut" (1,0).