Share
Related
Künstliche Intelligenz im Marketing: Potenziale und Werkzeuge
Meta und die Zukunft künstlicher Intelligenz: Der Weg zu AGI
Erweiterung der KI-Programmierung: aider und GitHub-Repositorys

Googles Lumiere: Eine neue Ära der generativen KI für realistische Videos

Google-Forscher haben mit Lumiere ein innovatives Text-zu-Video (T2V)-Diffusionsmodell entwickelt. Diese Technologie ermöglicht es, aus Textbeschreibungen realistische Videos zu erzeugen und übertrifft damit Alternative Modelle.

Dank der neuen Space-Time U-Net (STUNet)-Architektur kann das Modell Videos mit zusammenhängenden Bewegungen in hoher Qualität produzieren. Außerdem ist es für eine Vielzahl von Anwendungen einsetzbar, wie Video-Inpainting oder Bild-zu-Video-Generierung. Lumiere basiert auf einem präexistenten Text-zu-Bild-Modell und wurde um Aspekte der zeitlichen Dimension erweitert.

Das Down-Sampling und Up-Sampling im räumlichen und zeitlichen Bereich ermöglicht effizientere Prozesse bei der Videoerstellung. Im Vergleich zu früheren Methoden werden Bewegungen über das gesamte Video realistischer und kohärenter wiedergegeben. Eine Besonderheit ist, dass das Video als Ganzes und nicht nur in einzelnen Segmenten generiert wird.

Obwohl Lumiere in einer Benutzerstudie andere Modelle übertroffen hat, ist auch dieser Ansatz noch nicht perfekt ausgereift. So bleiben Herausforderungen bestehen, beispielsweise die Generierung von Videos mit mehreren Szenen. Diese stellen weiterhin ein Forschungsfeld dar.

Weitere News

Tauchen Sie ein in die Welt der KI-Stimmen: Erstellen Sie realistische Stimmen, und entdecken Sie Top Text-to-Speech-Tools. Perfekt für Sprachsynthese-Enthusiasten.
Entfesseln Sie Storytelling mit Midjourney: Lernen Sie, Storyboards durch KI-Prompting zu perfektionieren. Erwecken Sie Ihre Erzählungen zum Leben.
Meistern Sie die Erstellung filmischer Bilder mit Midjourney. Unser Tutorial zeigt, wie Sie Prompts für atemberaubende visuelle Geschichten nutzen.

Teilen Sie es mit der Welt!