TransPixar: Neues Text-to-Video-Modell zur Generierung von Videos mit transparentem Hintergrund

Adobe Research und die Hong Kong University of Science and Technology (HKUST) haben mit TransPixar eine neue KI-Technologie vorgestellt, die die Produktion von visuellen Effekten grundlegend verändern könnte. Die Technologie erweitert bestehende KI-Videomodelle um die Fähigkeit, transparente Effekte zu generieren – eine bisher große Herausforderung aufgrund begrenzter Trainingsdaten.

Das Team entwickelte einen neuartigen Ansatz. Man führt neue Tokens für die Alpha-Kanal-Generierung ein und nutzt LoRA-basiertes Fine-Tuning. Die Ergebnisse sind bereits ziemlich gut – von wirbelnden Sturmwolken bis zu magischen Portalen und zerspringendem Glas ist alles dabei.

TransPixar könnte besonders für kleinere Studios wertvoll sein, die sich teure VFX-Arbeit bisher nicht leisten können. Die Technologie ermöglicht es, Effekte in Echtzeit zu generieren, die bisher Stunden oder Tage benötigten. Angesichts der steigenden Nachfrage nach Content und knapper Budgets kommt die Innovation wahrscheinlich gerade richtig.

Wer möchte, kann sich das komplette Paper oder die Website zu Gemüte führen. Der Code ist auf GitHub verfügbar und eine Demo kann auf Hugging Face getestet werden.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.