Google-Forscher haben mit Lumiere ein innovatives Text-zu-Video (T2V)-Diffusionsmodell entwickelt. Diese Technologie ermöglicht es, aus Textbeschreibungen realistische Videos zu erzeugen und übertrifft damit Alternative Modelle.

Dank der neuen Space-Time U-Net (STUNet)-Architektur kann das Modell Videos mit zusammenhängenden Bewegungen in hoher Qualität produzieren. Außerdem ist es für eine Vielzahl von Anwendungen einsetzbar, wie Video-Inpainting oder Bild-zu-Video-Generierung. Lumiere basiert auf einem präexistenten Text-zu-Bild-Modell und wurde um Aspekte der zeitlichen Dimension erweitert.

Das Down-Sampling und Up-Sampling im räumlichen und zeitlichen Bereich ermöglicht effizientere Prozesse bei der Videoerstellung. Im Vergleich zu früheren Methoden werden Bewegungen über das gesamte Video realistischer und kohärenter wiedergegeben. Eine Besonderheit ist, dass das Video als Ganzes und nicht nur in einzelnen Segmenten generiert wird.

Obwohl Lumiere in einer Benutzerstudie andere Modelle übertroffen hat, ist auch dieser Ansatz noch nicht perfekt ausgereift. So bleiben Herausforderungen bestehen, beispielsweise die Generierung von Videos mit mehreren Szenen. Diese stellen weiterhin ein Forschungsfeld dar.