Растущая область искусственного интеллекта (ИИ) для преобразования текста в видео готова революционизировать мультимедийные возможности, и такие пионеры, как Nvidia, демонстрируют впечатляющие достижения в этой области. Передовая технология может не только демократизировать создание видео, но и расширить сферу GIF.
Свежие идеи можно почерпнуть из исследовательской работы лаборатории искусственного интеллекта Nvidia в Торонто и микросайта под названием «Синтез видео высокого разрешения с моделями скрытой диффузии» . В исследовании рассматриваются будущие инструменты искусственного интеллекта для создания изображений, основанные на моделях скрытой диффузии (LDM) — классе ИИ, способном синтезировать видео без перегрузки вычислительных ресурсов.
Nvidia утверждает, что технология LDM основана на генераторе преобразования текста в изображение Stable Diffusion и включает временное измерение в модель диффузии в скрытом пространстве. По сути, ИИ может реалистично отображать статические изображения и масштабировать их, используя методы сверхвысокого разрешения. Эти достижения позволяют генератору создавать более короткие видеоролики продолжительностью 4,7 секунды с разрешением 1280x2048 и более длинные видеоролики с разрешением 512x1024 для моделирования вождения.
Какой бы инновационной эта технология ни казалась прямо сейчас, мы, вероятно, только царапаем поверхность ее потенциальных приложений. Существующий вариант использования преобразования текста в GIF, несомненно, впечатляет, но эта технология может применяться и в более широких областях, таких как автоматизация киноадаптации и демократичное улучшение создания видео.
Как и в случае с любой развивающейся технологией, в сгенерированных видео есть некоторые недостатки, такие как артефакты и морфинг. Тем не менее, быстрое развитие инструментов на основе ИИ, таких как LDM от Nvidia, предполагает, что вскоре они найдут более широкое применение в различных условиях, включая библиотеки стоковых видео.
Генераторы преобразования текста в видео на основе ИИ не являются эксклюзивными для Nvidia. Google Phenaki недавно представила свои возможности для создания 20-секундных клипов из более расширенных подсказок и 2-минутного видео сравнительно низкого качества. Другой стартап, Runway, создатель генератора преобразования текста в изображение Stable Diffusion, также представил свою видеомодель Gen-2 AI. Используя эту технологию, пользователи могут предоставлять неподвижное изображение для сгенерированного видео, запрашивать стили видео и отвечать на определенные запросы.
Другие известные примеры применения ИИ в видеоредактировании включают демонстрации Adobe Firefly, которые демонстрируют возможности ИИ Adobe в рамках ее программного обеспечения Premiere Rush. Пользователям просто нужно ввести предпочтительное время суток или время года, а ИИ сделает все остальное.
Текущие демонстрации, предоставленные Nvidia, Google и Runway, показывают, что полная генерация текста в видео все еще находится на начальной стадии, что дает сказочные или искаженные результаты. Тем не менее, эти ранние попытки способствуют быстрому развитию, прокладывая путь для более широкого использования технологии в будущем.
В меньшем масштабе платформы no-code, такие как AppMaster, добились значительных успехов, позволив людям разрабатывать мобильные, веб-приложения и серверные приложения, упрощая разработку и создание масштабируемых технологических решений с меньшими затратами времени и средств. AppMaster также подчеркивает еще один аспект демократизации технологий, когда сложные инструменты и процессы становятся доступными для более широкого круга пользователей.
