KI-Synchro der anderen Art: TrueSync passt die Lippenbewegungen von Schauspielern an
von André Westphal | 12 Kommentare
Die Synchronbranche fürchtet angesichts generativer KI besonders um ihre Existenz. Denn der heilige Gral könnte es sein, fremdsprachige Filme mit KI-Stimmen zu synchronisieren, welche die Originalstimme des jeweiligen Darstellers übernehmen. Das wäre näher am Original als aktuelle Synchronarbeiten, würde aber auf einen Schlag alle Synchronsprecher arbeitslos machen. Einen Schritt in diese Richtung geht man mit TrueSync – allerdings anders, als man es auf den ersten Blick erwarten sollte.
TrueSync bezieht sich nämlich auf die visuellen Aspekte eines Films oder einer Serie. Die Technik ermöglicht es, die Lippenbewegungen im Videomaterial an die Synchronisation anzupassen. Im Endeffekt sieht es dadurch dann z. B. so aus, als hätten die Schauspieler in einer Hollywood-Produktion tatsächlich Deutsch gesprochen. In den USA kommt der schwedische Film „Watch the Skies“ in einer per TrueSync überarbeiteten Fassung in die Kinos.
Das ist für den dortigen Markt aus zweierlei Sicht besonders wichtig: Synchronisationen werden in den Vereinigten Staaten eher mit gerümpfter Nase betrachtet. Wenn, dann sehen sich die Menschen fremdsprachige Filme dort eher mit Untertiteln an, da sie Synchronisationen kaum gewöhnt sind. Für „Watch the Skies“ haben aber die schwedischen Original-Darsteller ihre Dialoge erneut in englischer Sprache aufgenommen. Dank TrueSync, welches das Bild anpasst, soll das Ergebnis so wirken, als wäre der Film von Anfang auf Englisch produziert worden.
Schauspieler-Gewerkschaft gibt grünes Licht für den KI-Ansatz
Selbst die US-Schauspieler-Gewerkschaft SAG-AFTRA hat den Ansatz von TrueSync abgesegnet, da die Schauspieler hier die Nachvertonung selbst übernehmen und KI eben lediglich zur Bildanpassung genutzt wird. Das ist schon eine starke Sache, wie ich finde. In den USA dürfte diese Herangehensweise vielleicht auch die Chancen von fremdsprachigen Filmen am Markt deutlich erhöhen. Allerdings könnte das Ganze auch in Deutschland eine Lösung sein, die interessant wäre.
Was sagt ihr zu TrueSync und den Beispielvideos? Finde ich persönlich schon sehr beeindruckend.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Kommt darauf an wie da die Übersetzung ausfällt. Heutzutage geht ja teilweise schon viel verloren. Ein Bonus waere sicher die Beibehaltung der Originalstimmen. Oft sind die Synchros ja teilweise schon etwas komisch wenn man das Original kennt. Für die Sprecher ist das natürlich hart, wenn der Job weg-technologisiert wird. Das könnte dann schnell auch andere vergleichbare Angebote treffen. Z.Bsp. denke ich da an Hörbücher.
Krass gut… man sieht praktisch keinen unterschied
https://www.derstandard.de/story/3000000214471/synchronsprecher-und-ki-vielleicht-sind-wir-die-letzte-generation
Mich stören nicht die unpassenden Lippenbewegungen, sondern die häufig unpassende Stimmen. Beispielsweise wurden die Brüder Winchester in der Serie „Supernatural“ meiner Meinung nach von zu jungen Stimmen vertont. Oftmals stimmen die Artikulation und die Emotionen nicht überein. Während der Schauspieler beispielsweise ein Drama darstellt, liest der Synchronsprecher den Text emotionlos vor. Auch Dialekte gehen meist verloren. In US-Serien beispielsweise sprechen mexikanische und britische Charaktere mit ihren jeweiligen Akzenten, darauf basieren dann Witze und Klischees. In der deutschen Synchronfassung wird dies meist in neutralem Hochdeutsch gesprochen. Die Stimmenvielfalt geht ebenfalls verloren, da oft drei bis fünf Synchronsprecher für zwanzig bis dreißig Charaktere sprechen. In der nächsten Serie sprechen dann wieder dieselben drei bis fünf Synchronsprecher, und im nächsten Film ebenso. Und die Überartikulation der Synchronsprecher finde ich am schlimmsten, da kann man oft ohne zu schauen sofort hören, ob eine deutsche Produktion im Fernseher läuft, wo Leute natürlich reden, oder eine Synchro mit verstellten Stimmen.
Für mich ist es mittlerweile schwierig, meine Serien zu genießen, da bestimmte Synchronsprecher in Nebenrollen immer wieder zu hören sind und das nicht selten (z.B. Charles Rettinghaus). Und da ich aktuell das Dick Wolf NBC Universe binge (die ganzen Law & Order- sowie Chicago-Serien) merke ich verstärkt, dass Synchronsprecher von Hauptdarstellern in anderen Serien des Universums Nebencharaktere sprechen. Und das führt bei mir nicht selten zum temporären Verlust der Immersion. Mit ein Grund warum ich es lieber in OV ansehe.
Wie viele Schauspieler sind in der Lage, die ganzen Sprachen selbst zu sprechen? Englisch wird wohl kein Problem sein, aber all die anderen Sprachen?
Richtig spannend wird es erst, wenn man sich an alte Filmklassiker macht, die für den deutschen Markt aus Kostengründen sehr spärlich bearbeitet wurden. Die ganzen alten Dinger aus den 30ern wie „Frankenstein“, „Dracula“ oder die Werwolf-Filme von Universal. Die deutsche Bearbeitung ist ein müder Witz. Wäre interessant, diese Klassiker akustisch ganz neu erleben zu dürfen.
Bin absolut dafür. Wir schauen bisher nur Originalton Englisch oder manchmal Deutsch. Alles andere bleibt leider auf der Strecke, wir können die schlechten Syncros nicht ertragen.
Kann man Watch the Skies schon irgendwo sehen?
Ein Aspekt der Synchro wird vergessen. Es gibt Filme / Serien, die ohne Synchro nur halt so erfolgreich wären.
Dazu sollte die Serie „Die Zwei“ (Curtis/Moore) und die Filme von Spencer/Hill gehören.
Die Sendung war in Großbritannien, Australien und mehreren Ländern Europas ein Erfolg, hauptsächlich mit dem original Ton. Die deutsche Synchronisation hat zwar Kultstatus, ist aber auch sehr schlecht gealtert.
Ich kann es gar nicht erwarten das diese Technik in Deutschland genutzt wird – es kann weiter synchronisiert werden, aber die Lippenbewegungen sind endlich passend. Ich hoffe, Netflix legt schon bald los damit.
In Deutschland haben wir sehr gute Synchronsprecher, z.B. Rainer Schöne (Willam Dafoe), etc. Die klingen teilweise besser als die englischen Originale. Denn es gibt einige amerikanische Schauspieler, die echt schlimm klingen (Stallone z.B.).
Da würde ich dann die Synchronstimme bevorzugen.