Veo 3: Neues KI-Video-Modell kann lippensynchrone Dialoge ausgeben und mehr

Google DeepMind hat mit Veo 3 ein neues Modell vorgestellt, das nicht nur die visuelle Qualität auf ein neues Level heben soll, sondern erstmals auch die Erstellung von Videos mit Sound ermöglicht. Das Modell versteht sowohl Text- als auch Bild-Prompts, generiert realitätsnahe Szenen und beherrscht sogar präzise Lippensynchronisation. Das sieht in den ersten Demovideos auch schon sehr stark aus (und klingt auch so). Verfügbar ist Veo 3 ab sofort für Nutzer in den USA im Rahmen eines Google AI Ultra-Abos in Gemini und Flow.
Parallel zur Einführung von Veo 3 hat Google DeepMind das bisherige Modell Veo 2 in Zusammenarbeit mit Filmschaffenden weiterentwickelt. Viele der dabei entstandenen Funktionen stehen ab sofort bereit:
- Referenzbasierte Generierung: Für mehr Kontrolle und Konsistenz können Nutzer Bilder von Charakteren, Szenen, Objekten oder Stilen als Referenzmaterial hinterlegen.
- Kamerasteuerung: Präzise Kontrolle über Kamerabewegungen wie Schwenks, Dolly-Fahrten und Zooms ist nun möglich.
- Outpainting: Diese Funktion erlaubt es, das Bild in der Breite zu erweitern und so beispielsweise ein Hochformatvideo in ein Querformat umzuwandeln. Die Szene wird dabei intelligent ergänzt.
- Objekte hinzufügen und entfernen: Nutzer können Objekte in Videos einfügen oder daraus entfernen. Veo versteht dabei Einstellungsgrößen, Interaktionen und Schatten, um realistische Ergebnisse zu erzielen.
Flow: KI-Studio für Filmproduktionen
Flow ist ein neues KI-Tool für die Filmproduktion, das Google DeepMind gemeinsam mit Kreativen entwickelt hat. Es vereint die Modelle Veo, Imagen und Gemini und ermöglicht es, auf einfache Weise Filmclips, Szenen und ganze Geschichten zu kreieren.
Man kann Flow demnach in natürlicher Sprache beschreiben, wie eine Szene aussehen und ablaufen soll. Zudem lassen sich die „Zutaten“ für eine Story, wie Darsteller, Drehorte, Objekte und Stile, zentral verwalten und in überzeugende Szenen umwandeln. Flow ist ab sofort in den USA im Rahmen der Google AI Pro- und Ultra-Abos nutzbar, weitere Länder sollen bald folgen.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Sehr interessant!
In der Opensource Szene tut sich da auch sehr viel. Hauptsächlich muss man sich da aber in ComfyUI einarbeiten. Dafür hat man dann mehr Flexibilität und Möglichkeiten.
Ich brauch endlich eine neue GPU.