Эксперты предупредили о рисках фейковой благотворительности с помощью ИИ

В России растут риски фейковой благотворительности с помощью ИИ

Сюжет
Как защититься от мошенников

Сюжет
Эксклюзивы РБК

Эксперты опасаются, что мошенники скоро начнут широко использовать ИИ-агенты для сбора денег. Нейросети смогут генерировать трогательный контент, на уловку которого может попасться широкая аудитория

Мошенники в России могут начать использовать агентов искусственного интеллекта (ИИ) для запуска в интернете фейковых сборов средств под видом благотворительности, ожидают опрошенные РБК представители компании в области разработки нейросетей и информбезопасности.

ИИ-агент— это программа на базе больших языковых моделей (LLM), которая способна выполнять задачи автономно, используя алгоритмы машинного обучения и искусственного интеллекта. ИИ-агенты могут анализировать данные, принимать решения на основе заданных параметров, взаимодействовать с другими системами и обучаться на своих ошибках.

Опасения возникли из-за эксперимента, который провела американская некоммерческая организация Sage, в рамках которого четыре ИИ-агента за месяц собрали для благотворительных организаций $2 тыс., работая автономно по два часа в день. В эксперименте участвовали языковые модели Claude 3.7/3.5 (разработчик— американская Anthropic), o1 и GPT-4o от OpenAI, а также Gemini от Google. В частности, Claude собирала средства на лечение больных детей в Африке и Азии и снижение детской смертности. В рамках эксперимента модели не были полностью автономны, за их прогрессом наблюдали люди, которые «подсказывали» ботам, на какой сайт стоит обратить внимание, когда те анализировали информацию. И большая часть пожертвований поступала именно с тех сайтов, на которые указывали люди, то есть ИИ-агенты не смоглибы собрать столько пожертвований без помощи, пришли к выводу авторы эксперимента.

По прогнозу руководителя департамента информационно-аналитических исследований компании T.Hunter Игоря Бедерова, в России риски мошенничества с ИИ-агентами будут расти параллельно с их внедрением в бизнес-процессы: уже во второй половине 2025-го— начале 2026 года он ожидает появления таких схем мошенничества из-за доступности технологий для создания ИИ-агентов и роста числа нерегулируемых секторов (онлайн-медиа, криптовалюты). ИИ-агенты могут одновременно атаковать тысячи пользователей, генерируя персонализированные сообщения, рассказал Бедеров. Злоумышленники смогут использовать их для генерации дипфейков и автоматизации кибермошеннических схем в части создания и распространения опасного контента, а также переговоров с жертвами, что отнимает больше всего времени мошенников.

Риски использования ИИ-агентов мошенниками реальны и актуальны, говорит директор по цифровым технологиям «Ростелекома» Роман Хазеев. Он пояснил, что сейчас ИИ-агенты все чаще применяются в черных сценариях, и, если пользователь во время переписки в мессенджере подозревает, что его собеседник— мошенник, велика вероятность, что за ним стоит искусственный интеллект. Такие агенты, по словам Хазеева, экономят злоумышленникам время и ресурсы, позволяя завлекать больше жертв. Главная опасность, по его мнению, кроется не в программах, а в формате контента: видеоролики с якобы больными животными, трогательные истории и картинки, вызывающие сочувствие, быстро распространяются и собирают широкую аудиторию.

ИИ-агенты, которые призваны автономно выполнять задачи пользователя, вызывают серьезные опасения с точки зрения безопасности, указал РБК руководитель группы исследований и разработки технологий машинного обучения «Лаборатории Касперского» Владислав Тушканов. Злоумышленники могут использовать системы, пытаясь «обхитрить» их с помощью специальных команд, направленных на обход логики искусственного интеллекта, пояснил эксперт. Кроме того, если системе предоставляется чрезмерная автономия (например, автоматическая отправка платежей или передача банковских данных), она может непреднамеренно способствовать утечкам данных или финансовым мошенничествам, отметил Тушканов. Мошенники, по его словам, могут использовать ИИ-технологии для создания голосовых и видеодипфейков (подделка голоса или изображения), чтобы убедить жертву передать персональные данные или финансовые средства. Также они могут применять нейросети для написания вредоносного программного кода, но для этого им придется использовать различные уловки, так как система может ответить отказом на такой запрос.

Однако ведущий аналитик департамента защиты от цифровых рисков компании F6 Евгений Егоров считает, что в ближайшее время не будет массового использования ИИ-агентов злоумышленниками, так как из-за встроенных механизмов безопасности нейросеть не позволит привлекать аудиторию на сомнительные сайты. По его словам, некоторые популярные мошеннические схемы уже в значительной степени автоматизированы, нерешенные задачи автоматизации для злоумышленников— привлечение потенциальных жертв на мошеннические и фишинговые ресурсы, а также побуждение жертв к загрузке вредоносного софта.

В чем опасность

ИИ-агенты могут научиться автономно сканировать соцсети, выявляя эмоционально уязвимых людей— например, одиноких, переживающих сложный период или испытывающих финансовые трудности, дополнила директор продуктов в VisionLabs (входит в МТС) Татьяна Дешкина. Алгоритмы смогут анализировать посты и комментарии, а затем запускать массовые персонализированные рассылки, имитируя искренний интерес или предлагая ложную поддержку, предупредила эксперт. Если жертва откликнется, мошенники могут усилить атаку с помощью дипфейков— например, организовать видеозвонок с «реалистичным» собеседником, чье лицо сгенерировано нейросетью, или отправить голосовые сообщения, синтезированные на основе чужих записей, говорит Дешкина. «Это создаст иллюзию живого общения и повысит доверие жертвы, после чего злоумышленники могут попытаться выманить деньги под предлогом «срочной помощи», шантажировать откровенными материалами или перенаправить на фишинговые сайты для кражи данных»,— указала она.

Пока в России не было известных случаев масштабного мошенничества с использованием ИИ-агентов, говорит директор по развитию цифровых проектов ГК Softline Роман Инюшкин, допустив, что такие преступления, скорее всего, происходили, но не получили широкой огласки. О том, что массовых случаев мошенничеств с ИИ-агентами в России пока не было, говорит и специалист команды безопасности департамента AI VK Павел Литиков. Но прецеденты с использованием нейросетей в мошеннических схемах, таких как звонки с использованием дипфейков, автоматизированные фишинговые боты, генерация фишинговых писем через нейросеть, по его словам, уже встречались.

Инюшкин напомнил, что мошенники черных call-центров уже активно используют нейросети, а с появлением технологий для создания реалистичных подделок голосов и видео смогут с большей убедительностью выдавать себя за близких людей для сбора средств под видом благотворительности или других целей. Современные роботы-ассистенты и голосовые помощники не в полной мере имитируют человеческое поведение, поэтому люди достаточно быстро распознают искусственное общение, рассказал Инюшкин. Он считает, что развитие ИИ приведет к тому, что в скором времени ИИ-агенты смогут воспроизводить человеческие манеры общения и поведение настолько реалистично, что станет практически невозможно распознать взаимодействие с искусственным интеллектом.

Собираетли ИИ пожертвования в России

Благотворительные организации не могут использовать ИИ-решения, пока они не прошли достаточное тестирование— слишком высоки риски, отметила директор по фандрайзингу и коммуникациям в фонде «Вера» Анастасия Маренцова. Кроме того, такой формат может подразумевать трансграничную передачу данных, а «ни один ответственный фонд не возьмет на себя такой риск». По словам Маренцовой, фонд «Вера», как и многие некоммерческие организации, пробует использовать искусственный интеллект для оптимизации рутинных задач: чтобы упростить работу с документами, ускорить поиск решений. Но фонд не рассматривает ИИ как инструмент, который полностью вытеснит ручной труд, коммуникацию с подопечными и аналитику.

Благотворительный фонд «Старость в радость» пока не использует искусственный интеллект при сборе пожертвований, рассказала РБК директор фонда Елизавета Олескина. «Мы уверены, что человеку нужен человек, и люди помогают людям,— отметила она.— Мы можем поручить однажды искусственному интеллекту те или иные текущие задачи— например, по оперативному поиску ответов на частые вопросы пользователей, быстрой переадресации информации внутри команды, формированию фотоархива по темам и т.д. Но рядом всегда будет живой модератор». Олескина напомнила, что мошеннические сообщения, мало отличимые от призывов реальных фондов или отдельных людей, отправляют уже сейчас. Она допустила, что искусственный интеллект может быть запрограммирован на проактивную отправку пользователям просьб о пожертвованиях, и предупреждает, что, прежде чем переводить деньги, следует проверять на официальных сайтах фондов или уточнять по указанным там контактам, ведетли фонд сбор на той или иной платформе.

Читайте РБК в Telegram.

Источник