28 Мая 2024 | 12:00

«Яндекс» представил нейросеть YandexGPT Lite третьего поколения

«Яндекс» создал YandexGPT 3 Lite — облегченную версию собственной
генеративной нейросети третьего поколения. Она будет доступна клиентам облачной
платформы Yandex Cloud через API, сообщили в компании. 

С помощью обновленной модели можно оптимизировать разные задачи для бизнеса.
Например, консультация клиентов в чате и по телефону, подготовка ответов для
службы поддержки, создание маркетинговых материалов или дайджеста рабочих
встреч, а также анализ данных.

По итогам теста YaMMLU_ru (русскоязычной версии международного эталонного
теста MMLU), новая модель дает на 6 п.п. больше верных ответов, чем модель
предыдущего поколения. 

Две нейросети сравнивали также по методике Side by Side: модели отвечали на
одни и те же вопросы, а эксперты выбирали лучший ответ. В среднем YandexGPT 3
Lite отвечала лучше, чем YandexGPT 2 Lite, в 68% случаев. 

Кроме того, обновленная версия на 62% эффективнее генерирует контент и на
67% лучше справляется с задачами классификации. Также новая модель допускает
меньше орфографических и фактических ошибок, чем YandexGPT 2 Lite.

Для создания нейросети третьего поколения разработчики усовершенствовали все
этапы обучения. В частности, улучшили отбор данных для предварительного этапа
обучения (pretraining), повысив долю полезной информации. А кроме того, стали
использовать на этом этапе технологию curriculum learning, позволяющую поэтапно
усложнять данные. 

На втором этапе обучения (alignment, или выравнивание модели), включающем в
себя обучение с подкреплением (reinforcement learning), улучшили модель для
оценки качества ответов. Кроме того, в архитектуру нейросети добавили
технологию Grouped Query Attention — она ускоряет обработку данных без потери
качества.

YandexGPT 3 Lite можно интегрировать в свои продукты через API в сервисе
Foundation Models. Новая модель заменит предыдущую в течение месяца, но
попробовать ее можно уже сейчас. Стоимость использования YandexGPT 3 Lite — 20
копеек за 1 тыс. токенов. Новые пользователи Yandex Cloud смогут бесплатно
протестировать ее в демо-режиме. 

Ранее сообщалось, что нейросети «Яндекса» испытывают нехватку
текстов на экзотических языках, что ухудшает качество работы ИИ. Разработчики
моделей машинного обучения (LLM) сталкиваются с проблемой во время работы.

Еще материалы

«Газпром-Медиа» представил первый мульткаст с использованием ИИ

Онлайн-кинотеатр Wink начнет работать в странах СНГ

Первый пациент Neuralink рассказал про жизнь с чипом в мозге

TJ Collection выпустил ИИ-стилиста

Функция проверки фактов может появиться в «Телеграме»

YouTube Music добавил функцию поиска песни по напеву

Источник: Источник