Deep Video Portraits wirken noch realistischer als DeepFakes

Das Thema DeepFakes hatte ich schonmal in einem Beitrag angerissen: Im Grunde ist damit gemeint, dass mit relativ einfachen Mitteln Gesichter von Personen in Fotos oder sogar Videos eingewechselt werden. Die Ergebnisse sind in der Regel relativ schnell als künstlich zu entlarven. Dennoch hat sicherlich kaum einer von euch Lust am Ende in einem Video wie „Butthole Surfers XIII – The Hardcore Whale“ aufzutauchen. Einige Leute haben es sich auch zur Aufgabe gemacht, auf diese Weise gefälschte Pornovideos von Prominenten zu erstellen. Mittlerweile gibt es sogar noch weiter führende Möglichkeiten: die Deep Video Portraits.

Es wäre aber falsch jene Technik direkt in einen Sumpf mit den DeepFakes zu schmeißen. Denn abgesehen vom leider hohen Missbrauchspotential gibt es auch sinnvolle Anwendungsgebiete – etwa im Bereich der Spieleindustrie. So könnten Deep Video Portraits eventuell ein kostengünstiger Weg sein, um realistische, lippensynchrone Gesichtsanimationen zu erstellen. Auch im Bereich der Animationsfilme wäre die Verwendung der Technik denkbar.

Deep Video Portraits sind eine Technik, die im Wesentlichen Gesichtsausdrücke einer Person auf das digitale Abbild einer anderen Person überträgt. Mehr dazu seht ihr auch im obigen Video. Sowohl die Mimik als auch die Lippenbewegungen werden übertragen. Damit das Ergebnis realistisch wirkt, dient ein Originalvideo des Menschen, auf dessen Abbild die Bewegungen übertragen werden sollen, als Basis. Somit kombiniert die Technik also sinnvoll die vorgegebenen Bewegungen, welche übertragen werden sollen, mit der Art und Weise, wie sich die Person aus dem Video normalerweise bewegt.

Die Wissenschaftler hinter dem Projekt behaupten, dass sie damit ein komplett realistisches Ergebnis erreichen. Ich bin der Meinung, dass das ganze immer noch etwas nach Motion-Capturing / Computeranimationen aussieht. Beeindruckend sind die Resultate aber definitiv. Die Technik hat aber auch ihre Grenzen: Etwa kann man damit nicht einer Person, die komplett grimmig schaut, ein realistisches Grinsen auf das Gesicht zaubern.

Hinter den Deep Video Portraits stecken Forscher von Technicolor, Stanford, der University of Bath sowie dem Max Planck Institute for Informatics and the Technical der Universität München. Falls ihr euch das Paper dazu tatsächlich einmal ansehen wollt, so ist es hier zu finden.