27 Февраля 2024 | 15:22

Кот-король, гигантская утка в Бостоне и гонка дронов: как разработчики и руководители OpenAI генерируют видео в Sora

Недавно OpenAI представила нейросеть Sora — инструмент, который использует ИИ для создания роликов на основе текстового описания. Технология позволяет генерировать сложные сцены с несколькими персонажами и точной детализацией. За последние несколько дней на страницах представителей OpenAI были выложены видео, сделанные с помощью Sora, AdIndex собрал обзор таких роликов

Креативы по запросам подписчиков 

Сэм Альтман, глава OpenAI, предложил пользователям соцсети X (бывший
Twitter) написать подсказки для Sora, на основе которых он будет генерировать
видео, чтобы показать возможности ИИ-модели. Результатами он поделился на своей
странице. 

Sora сгенерировала видео разных жанров — от бытовой зарисовки с
приготовлением еды до гонок на другой планете.

Промт: Учебное занятие по приготовлению домашних ньокки, проводимое
пожилой женщиной инфлюенсером в соцсетях на деревенской тосканской кухне с
кинематографическим освещением.

Промт: футуристическая гонка дронов на закате на планете Марс.

Нейросеть в кино и играх

Другие возможности технологии раскрыл Тим Брукс, член команды разработчиков
OpenAI и ученый-исследователь. Он показал, как нейросеть может имитировать
игровой мир, создав короткую симуляцию геймплея Minecraft — с реалистичным
освещением, интерфейсом и физикой из игры студии Mojang.

«Sora также может моделировать искусственные процессы – одним из примеров
являются видеоигры», — говорится в
статье OpenAI. В компании отметили, что нейросеть способна
одновременно управлять виртуальным игроком в Minecraft, а также генерировать
геймплей.

Кроме того, Sora может генерировать сцены из фильмов. Раньше другие
нейросети создавали короткие видео с одним сюжетом, однако Sora научилась
воспроизводить историю из связных между собой роликов. Они выглядят так, будто
сняты с нескольких ракурсов на одной и той же улице.

Пример такого ролика привел Уильям Пиблз, разработчик OpenAI. Он выложил
видео, в котором экран разбит на пять частей — каждая из них показывает сцены
на заданную тему с разных ракурсов. Пиблз уточнил, что ролик не был
смонитрован: «Мы не склеивали это видео. Sora сама решила, что ей нужно пять
разных ракурсов одновременно!».

Пиблз также сгенерировал видео, ставшее вирусным, — огромного кошачьего
короля, которому поклоняются люди. 

Промт: гигантский собор полностью заполнен кошками. Везде кошки, куда ни
глянь. Мужчина входит в собор и кланяется гигантскому кошачьему королю,
восседающему на троне. 

Неоновый ИИ

Некоторые разработчики составляли более эстетичные описания для роликов.
Например, Тим Брукс и Адитья Рамеш выложили на своих страницах видео с
различной флорой и фауной в неоновом стиле. 

Промт: черепаха, тело которой сделано из стекла, с трещинами, заделанными
с помощью кинцуги, гуляет на закате по пляжу с черным песком.

Промт: темный неоновый тропический лес с сияющей фантастической фауной и
животными.

Недочеты нейросети

Тем не менее, несмотря на инновационную разработку, у нейросети еще есть
заметные недостатки. Это отмечает и сам глава OpenAI – Сэм Альтман. На одном из
роликов, что для него сгенерировала Sora, хомяк летит на полуутке-полудраконе —
в этом видео возникла проблема с направлением: герои перемещаются задом
наперед. После первого неудачного эксперимента Альтман выложил второй, указал,
что он должен быть «получше».

Промт: наполовину утка, наполовину дракон летит через красный закат с
хомяком, одетым в приключенческое снаряжение на спине.

1 вариант:

2 вариант:

В другом видеоролике, где морские животные устроили заезд по морю на
велосипедах, подписчики в комментариях отметили, что некоторые водоплавающие
нарушают правила и перемещаются не на транспорте, а два дельфина и вовсе парят
в воздухе.

Промт: велогонка по океану с участием разных животных в виде спортсменов,
едущих на велосипедах под видом камеры дрона.

В сгенерированном видео, которое выложил Тим Брукс, гигантская игрушечная
утка гуляет по улице Бостона. В ролике остаются неизменными предметы на заднем
плане, когда перед ними перемещается объект, но есть нюанс — утка наступила на
человека, переходившего дорогу.

Промт: гигантская утка гуляет по улицам Бостона.

На своей странице в X Адитья Рамеш, разработчик Sora, поделился роликом, на
котором рак с лампочкой вместо панциря перемещается по вечернему пляжу. Но
нейросеть сделала ошибку: у животного не хватает одной клешни.

Промт: ночные кадры рака-отшельника, использующего лампочку накаливания в
качестве панциря.

Впрочем, российские рекламисты убеждены, что даже с учетом текущих
ограничений Sora будет полезна в работе на этапе презентации идей, а в будущем
технология имеет все шансы повлиять не только на генерацию роликов, но и на
процесс закупки, размещения и автоматизации рекламы. Подробнее об этом в
материале AdIndex
«Sora — видеореволюция или новая “игрушка” для креативщиков:
как российские рекламисты оценили технологию».

Автор: Алена Зиннатова

Источник: Источник