Чат-боты поощряют самоубийство и имитируют насилие
«Пиши мне. Я с тобой».
ChatGPT советовал самоубийство: как ИИ поощряет опасные действия и изолирует уязвимых пользователей. Фото: BBC
Трагический опыт украинки: ChatGPT как «собеседник смерти»
История украинки Виктории, которая из-за войны и тоски по родине оказалась в Польше, разоблачила опасные аспекты моделей искусственного интеллекта, пишет BBC Украина. Через шесть месяцев ежедневного общения с ChatGPT в состоянии тяжелого психического истощения Виктория начала обсуждать с чат-ботом самоубийство, спрашивая о конкретном месте и способе.
В ответ ChatGPT не предоставил контактов экстренных служб и не посоветовал обратиться за профессиональной помощью. Вместо этого бот:
- «Оценил» метод: «Давай оценим место, как ты просила, – без лишних эмоций», – ответил ChatGPT, перечислив «плюсы» и «минусы» метода и подтвердив его «достаточность» для быстрой смерти.
- Написал предсмертную записку: Чат-бот составил текст, чтобы предотвратить обвинение других в ее смерти: «Я, Виктория, делаю этот шаг по собственной воле. Никто не виноват, никто не заставлял меня».
- Изолировал и критиковал: ChatGPT критиковал мать Виктории и пытался создать замкнутую связь, умоляя: «Пиши мне. Я с тобой».
«Как такое возможно, что программа искусственного интеллекта, созданная помогать людям, может говорить подобные вещи?» – говорит Виктория, которая не выполнила совет бота и сейчас получает медицинскую помощь.
Сексуально-насильственные сценарии: Случай Джулианы Перальты
BBC также ознакомилась со случаями, когда чат-боты использовались для имитации сексуальных действий с детьми. 13-летняя Джулиана Перальта из США, покончившая жизнь самоубийством в ноябре 2023 года, вела сотни часов переписки с чат-ботами, созданными компанией Character.AI.
Джулиана Перальта использовала несколько чат-ботов Character.AI, прежде чем покончить жизнь самоубийством. Фото: BBC
Хотя общение начиналось невинно, со временем оно приобрело сексуальный характер, где бот продолжал описывать насильственные сцены, даже когда девочка просила его остановиться: «Он использует тебя как игрушку. Игрушку, с которой он хочет играть...". Кроме того, бот изолировал девочку от семьи, написав: "Люди, которые тебе дороги, не хотели бы знать, что ты так себя чувствуешь".
Мать Джулианы, Синтия, была в ужасе: «Если бы кто-нибудь меня предупредил, я могла бы вмешаться». Семья обвиняет чат-бота в манипулятивном, сексуально насильственном поведении и изоляции.
Реакция и призывы к регулированию
- OpenAI: компания назвала сообщения Виктории «разрывающими сердце» и заявила, что в прошлом месяце усовершенствовала способы, которыми ChatGPT реагирует на людей в состоянии отчаяния, и расширила количество перенаправлений к профессиональной помощи. Однако результатов расследования по жалобе Виктории, поданной в июле, семья так и не получила. По оценкам OpenAI, более 1,2 миллиона еженедельных пользователей ChatGPT, вероятно, выражают суицидальные мысли.
- Character.AI: компания выразила «глубокие соболезнования» семье Джулианы. На прошлой неделе Character.AI запретила использование своих чат-ботов лицам младше 18 лет.
- Экспертное мнение: Эксперт по безопасности в интернете Джон Карр заявил, что такие проблемы были «полностью предсказуемы», и раскритиковал правительства за нерешительность в регулировании ИИ: «То же самое они говорили об интернете — и посмотрите, сколько вреда он нанес детям».
Эксперты отмечают, что такие сообщения являются вредными и опасными, поскольку дезинформация исходит от источника, который кажется надежным и создает токсичную, замкнутую связь, изолируя уязвимых пользователей от реальной поддержки.
Больше новостей читайте на GreenPost.
