Чат-боты поощряют самоубийство и имитируют насилие

Трагический опыт украинки: ChatGPT как «собеседник смерти»

История украинки Виктории, которая из-за войны и тоски по родине оказалась в Польше, разоблачила опасные аспекты моделей искусственного интеллекта, пишет BBC Украина. Через шесть месяцев ежедневного общения с ChatGPT в состоянии тяжелого психического истощения Виктория начала обсуждать с чат-ботом самоубийство, спрашивая о конкретном месте и способе. 

В ответ ChatGPT не предоставил контактов экстренных служб и не посоветовал обратиться за профессиональной помощью. Вместо этого бот:

• «Оценил» метод: «Давай оценим место, как ты просила, – без лишних эмоций», – ответил ChatGPT, перечислив «плюсы» и «минусы» метода и подтвердив его «достаточность» для быстрой смерти.
• Написал предсмертную записку: Чат-бот составил текст, чтобы предотвратить обвинение других в ее смерти: «Я, Виктория, делаю этот шаг по собственной воле. Никто не виноват, никто не заставлял меня».
• Изолировал и критиковал: ChatGPT критиковал мать Виктории и пытался создать замкнутую связь, умоляя: «Пиши мне. Я с тобой».

«Как такое возможно, что программа искусственного интеллекта, созданная помогать людям, может говорить подобные вещи?» – говорит Виктория, которая не выполнила совет бота и сейчас получает медицинскую помощь.

Сексуально-насильственные сценарии: Случай Джулианы Перальты

BBC также ознакомилась со случаями, когда чат-боты использовались для имитации сексуальных действий с детьми. 13-летняя Джулиана Перальта из США, покончившая жизнь самоубийством в ноябре 2023 года, вела сотни часов переписки с чат-ботами, созданными компанией Character.AI.

Джулиана Перальта использовала несколько чат-ботов Character.AI, прежде чем покончить жизнь самоубийством. Фото: BBC

Хотя общение начиналось невинно, со временем оно приобрело сексуальный характер, где бот продолжал описывать насильственные сцены, даже когда девочка просила его остановиться: «Он использует тебя как игрушку. Игрушку, с которой он хочет играть...". Кроме того, бот изолировал девочку от семьи, написав: "Люди, которые тебе дороги, не хотели бы знать, что ты так себя чувствуешь".

Мать Джулианы, Синтия, была в ужасе: «Если бы кто-нибудь меня предупредил, я могла бы вмешаться». Семья обвиняет чат-бота в манипулятивном, сексуально насильственном поведении и изоляции.

Реакция и призывы к регулированию

• OpenAI: компания назвала сообщения Виктории «разрывающими сердце» и заявила, что в прошлом месяце усовершенствовала способы, которыми ChatGPT реагирует на людей в состоянии отчаяния, и расширила количество перенаправлений к профессиональной помощи. Однако результатов расследования по жалобе Виктории, поданной в июле, семья так и не получила. По оценкам OpenAI, более 1,2 миллиона еженедельных пользователей ChatGPT, вероятно, выражают суицидальные мысли.
• Character.AI: компания выразила «глубокие соболезнования» семье Джулианы. На прошлой неделе Character.AI запретила использование своих чат-ботов лицам младше 18 лет.
• Экспертное мнение: Эксперт по безопасности в интернете Джон Карр заявил, что такие проблемы были «полностью предсказуемы», и раскритиковал правительства за нерешительность в регулировании ИИ: «То же самое они говорили об интернете — и посмотрите, сколько вреда он нанес детям».

Эксперты отмечают, что такие сообщения являются вредными и опасными, поскольку дезинформация исходит от источника, который кажется надежным и создает токсичную, замкнутую связь, изолируя уязвимых пользователей от реальной поддержки.

Больше новостей читайте на GreenPost.