Meta startet KI-Übersetzer mit Stimmen-Klon und Lip-Sync (noch nicht DE)
von Benjamin Mamerow | 11 Kommentare
Meta will Sprachbarrieren im Internet mit einem neuen KI-Werkzeug für Instagram und Facebook Reels einreißen. Die Funktion namens „Meta AI Translations“ übersetzt nicht nur Gesprochenes, sondern geht zwei entscheidende Schritte weiter. Die KI versucht dabei, den individuellen Klang und die Tonalität der Stimme des Creators zu imitieren, damit der persönliche Charakter nicht verloren geht. Zusätzlich wird das Videobild analysiert und die Lippenbewegungen werden an die übersetzte Sprache angepasst (Lip-Sync). Das Ergebnis soll ein Reel sein, das so wirkt, als wäre es direkt in der Zielsprache aufgenommen worden.
Die Steuerung bleibe dabei vollständig beim Anwender, so Meta. Die Funktion findet sich direkt im Upload-Prozess, wo sie über einen einfachen Schalter aktiviert werden kann. Wer die Kontrolle behalten möchte, kann eine Option zur manuellen Überprüfung aktivieren, um die Übersetzung vor der Veröffentlichung zu genehmigen.
Zum Start konzentriert sich Meta auf Übersetzungen zwischen Englisch und Spanisch, weitere Sprachen sollen aber folgen. Auf Instagram steht die Funktion allen Nutzern mit einem öffentlichen Profil zur Verfügung. Facebook-Creator benötigen eine Mindestanzahl von 1.000 Followern, um das Tool nutzen zu können. Für Zuschauer wird der Prozess automatisiert: Sie bekommen das Reel in ihrer eingestellten Sprache ausgespielt, sofern eine Übersetzung existiert. Ein kleiner Hinweis im Video weist auf den Einsatz der KI hin.
Um die bestmöglichen Resultate zu erzielen, sollten Creator direkt in die Kamera schauen und deutlich sprechen. Störende Hintergrundgeräusche können die Qualität der Übersetzung beeinträchtigen. Meta gibt außerdem an, dass das System auf Facebook aktuell für bis zu zwei Sprecher ausgelegt ist.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Ja selbstverständlich nicht in Deutschland, weil Deutschland ein Innovationfeindliches Land ist und alles kaputtregulieren muss. Bloß keinen Wirtschaftlichen Aufschwung aufkommen lassen, dass könnte uns ja diesen schrecklichen Wohlstand bringen.
Du bist ja ganz Grosser. Was hat die Bundesrepublik Deutschland damit zu tun ob ein kommerziellen Unternehmen wie Meta seinen Dienst auf Deutsch anbietet oder nicht?
Vielleicht kann auch deine Arroganz Englisch oder Spanisch fliessend zu sprechen, der Grund sein, warum du nicht fähig bist den Dienst zu nutzen.
Es ist ja nicht Gottesgabe Deutsch zu sprechen, sondern liegt ja nur an dir diese oder andere Sprachen anzunehmen.
Was machst du, um das Land jeden Tag besser zu machen?
Dein Gesabber ist einfach unwahr.
Und anstrengend dazu.
@Menz
Du ziehst da nun über Deutschland her, aber ich sehe nicht, laut Artikel, dass auch Französisch, Italienisch und viele weitere Sprachen aktuell zu finden sind. Sind dann diese Länder auch Innovationsfeindlich, weil es diese noch nicht gibt, oder ist es nur deine Deutschland-Phobie? Wäre es nicht besser auszuwandern? Russland soll doch ein Paradies sein, sagen jedenfalls Putin-Trolle.
Steht doch jedem frei auszuwandern, wenn es einem hier nicht gefällt.
Ansonsten zum Thema: Hoffentlich kommt das bald bei Youtub. Die derzeitigen Übersetzungen sind ja für sämtliche Gehirnwindungen nur grauenvoll.
Gut wir sind ja keine Untertanen, auch wenn sich einige gerne so verhalten. Demokratisches Partizipieren ist schon etwas anderes als raus mit dir, wenns dir nicht gefällt. Eine Meinung kann zwar doof sein, aber es ist halt seine Meinung.
In zwei Jahren gibt es keine Entschuldigungen mehr für Spiele, die nicht in anderen Sprachen lokalisiert sind. Zuwiderhandlungen werden in Reviews hoffentlich abgestraft.
Wobei ich das ehrlich gesagt gar nicht gut finde. Man sieht ja die Auswirkungen der permantenten Synchronisierung daran, wie schlecht die deutsche Bevölkerung im Durchschnitt im Vergleich zu skandinavischen Ländern Englisch spricht.
Ich möchte in Frage stellen, ob es wirklich an der Synchronisation liegt. In anderen Ländern, wo auch nicht so viel synchronisiert wird, ist das englische Sprachniveau auch nicht besser als hier. Siehe Osteuropa, was ich selbst schon auf Schulungen, die ich in englisch gegeben habe, bemerkt habe. Die Teilnehmer sprachen teilweise wirklich grauenhaftes Englisch.
Bei YouTube gibt es ja auch so eine ähnliche Funktion. Da wird plötzlich was in Deutsch eigentlich ist, in Englisch übersetzt und hört sich befremdlich an, da natürlich etwas zeitverzögert oder andersrum. Die Person spricht eigentlich Englisch, es wird im Audio in Deutsch übersetzt.
Ich nutze bei YouTube eigentlich nur die automatische Übersetzung von Untertitel. Da funktioniert es schon recht gut.