Нейросеть «Яндекса» начала генерировать видео в «Шедевруме»

28 Августа 2023 | 11:41

«Яндекс» представил технологию создания видео с помощью нейросети для
пользователей. Такая возможность появилась в «Шедевруме». В ответ на запросы
приложение генерирует короткие ролики, рассказали в пресс-службе
компании.

«Шедеврум» генерирует видео длиной в четыре секунды с частотой 24 кадра в
секунду. После публикации ими можно поделиться с друзьями или сохранить в
формате MP4. Сейчас функция работает в режиме тестирования. Генерация видео
доступна активным пользователям «Шедеврума» в обновленной версии приложения, а
посмотреть результаты в ленте приложения могут все.

Чтобы сгенерировать видео в «Шедевруме», необходимо описать текстом то, что
хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и
набор анимационных эффектов для создания движения. Нейросеть берет за основу
выбранное пользователем изображение, генерирует набор его измененных версий и
объединяет все выбранным эффектом. Сейчас их семь: зум (приближение), таймлапс
(ускоренная перемотка), полет, панорама, вращение, подъем и морфинг
(постепенное изменение).

Для создания кадров будущего видео используется метод каскадной диффузии. С
помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала
нейросеть создает картинки в соответствии с запросом, а затем поэтапно
увеличивает их разрешение, добавляя детали. Нейросеть также может создавать
изображения и текстовые посты с заголовками и иллюстрациями.

«Яндекс» представил прототип собственной нейросети «Шедеврум» в
апреле 2023 г. Позже эта технология
начала иллюстрировать рекламу.