Der aufkeimende Bereich der künstlichen Intelligenz (KI) für Text-zu-Video ist bereit, Multimedia-Erlebnisse zu revolutionieren, wobei Pioniere wie Nvidia beeindruckende Fortschritte auf diesem Gebiet demonstrieren. Die Spitzentechnologie hat nicht nur das Potenzial, die Videoerstellung zu demokratisieren, sondern auch den Bereich der GIFs zu erweitern.
Neue Erkenntnisse können aus dem Forschungspapier und der Microsite des Toronto AI Lab von Nvidia mit dem Titel High-Resolution Video Synthesis with Latent Diffusion Models gewonnen werden. Die Studie befasst sich mit den kommenden KI-Kunstgenerator-Tools, die auf Latent Diffusion Models (LDMs) basieren – einer Klasse von KI, die in der Lage ist, Videos ohne überwältigende Rechenressourcen zu synthetisieren.
Nvidia behauptet, dass die LDM-Technologie auf dem Text-zu-Bild-Generator Stable Diffusion aufbaut und eine zeitliche Dimension in das latente Raumdiffusionsmodell integriert. Im Wesentlichen kann die KI statische Bilder realistisch rendern und sie mithilfe von Superauflösungstechniken hochskalieren. Diese Durchbrüche ermöglichen es dem Generator, kürzere 4,7-Sekunden-Videos mit einer Auflösung von 1280 x 2048 und längere Videos mit einer Auflösung von 512 x 1024 für Fahrsimulationen zu erstellen.
So innovativ diese Technologie im Moment auch erscheinen mag, wir kratzen wahrscheinlich nur an der Oberfläche ihrer potenziellen Anwendungen. Der aktuelle Anwendungsfall für die Text-to-GIF-Generierung ist zweifellos faszinierend, aber die Technologie kann sich auf breitere Anwendungen erstrecken, wie z. B. die Automatisierung von Filmadaptionen und die demokratische Verbesserung der Videoerstellung.
Wie bei jeder aufkeimenden Technologie gibt es einige Unvollkommenheiten in den generierten Videos, wie z. B. Artefakte und Morphing. Die schnelle Entwicklung von KI-gestützten Tools wie den LDMs von Nvidia deutet jedoch darauf hin, dass es nicht lange dauern wird, bis sie in einer Reihe von Umgebungen, einschließlich Stock-Videotheken, eine größere Akzeptanz finden.
KI-Text-zu-Video-Generatoren sind nicht exklusiv für Nvidia. Google Phenaki hat kürzlich seine Kapazität zur Produktion von 20-Sekunden-Clips aus längeren Eingabeaufforderungen und einem 2-Minuten-Video von vergleichsweise geringerer Qualität vorgestellt. Ein weiteres Startup, Runway, Schöpfer des Text-zu-Bild-Generators Stable Diffusion, stellte ebenfalls sein Gen-2-KI-Videomodell vor. Mithilfe dieser Technologie können Benutzer ein Standbild für das generierte Video bereitstellen, Videostile anfordern und auf bestimmte Eingabeaufforderungen reagieren.
Andere bemerkenswerte Beispiele für KI-Anwendungen in der Videobearbeitung sind die Demonstrationen von Adobe Firefly, die die KI-Fähigkeiten von Adobe in seiner Premiere Rush-Software demonstrieren. Benutzer müssen lediglich die bevorzugte Tages- oder Jahreszeit eingeben, und die KI erledigt den Rest.
Die aktuellen Demonstrationen von Nvidia, Google und Runway zeigen, dass sich die vollständige Text-zu-Video-Generierung noch in den Anfängen befindet und traumhafte oder verzerrte Ergebnisse liefert. Dennoch treiben diese frühen Bemühungen schnelle Fortschritte voran und ebnen den Weg für eine breitere Nutzung der Technologie in der Zukunft.
In kleinerem Maßstab haben no-code Plattformen wie AppMaster erhebliche Fortschritte dabei gemacht, Menschen die Entwicklung von Mobil-, Web- und Backend-Anwendungen zu ermöglichen, wodurch es einfacher wird, skalierbare Technologielösungen zu einem Bruchteil der Zeit und der Kosten zu entwerfen und zu erstellen. AppMaster hebt auch eine weitere Facette der Demokratisierung von Technologie hervor, bei der komplexe Tools und Prozesse einem breiteren Benutzerkreis zugänglich gemacht werden.
