19 Апреля 2024 | 09:04

Нейросети «Яндекса» столкнулись с дефицитом текстов на различных языках

Нейросети «Яндекса» испытывают нехватку текстов на экзотических языках, что
ухудшает качество работы ИИ, пишут
«Ведомости» со ссылкой на директора по развитию технологий
ИИ «Яндекса» Александра Крайнова. Разработчики моделей машинного обучения (LLM)
сталкиваются с проблемой во время работы.

Чтобы обучить языковую модель, нужно найти много хороших текстов, поясняет
Крайнов. Он уточняет, что такого объема нет физически. На английском языке их
достаточно, даже избыточно. На русском компания собирает все, что может
получить. Однако если говорить об узбекском, таджикском или казахском языка, то
«их не просто недостаточно — их нет».

Наличие такой проблемы подтверждает менеджер ИИ-продуктов Just AI Алексей
Борщов. Он акцентирует внимание на том, что есть сложности с диалектами,
редкими языками и языками с ограниченным объемом текстовых данных. Крайнов
допускает, что уровень и качество работы языковых моделей могут стать ниже,
если не будет хватать обучающих данных.

Еще материалы

Meta* представила бесплатный обновленный ИИ-помощник

«Дзен» дал возможность авторам контента продвигать свои каналы

Ассоциация развития киберспортивной инфраструктуры учреждена в стране

Рекламодатели потратили 3,7 млрд рублей на продвижение в «Телеграме»

Sela переместила коллекцию одежды в Roblox

Wildberries начнет продавать автомобили

Источник: Источник