Почему искусственный интеллект не может заменить врача

По данным нового исследования, чат-боты на базе искусственного интеллекта часто склонны к распространению ложной и обманчивой медицинской информации. Эксперты подчеркивают «критическую необходимость» в усиленных мерах безопасности, прежде чем такие модели можно будет использовать в здравоохранении. Чат-боты не только повторяли ложные утверждения, но и уверенно развивали их, на ходу создавая объяснения для несуществующих заболеваний. Об этом сообщает The Independent.

Команда из Медицинской школы Маунт-Синай разработала вымышленные сценарии пациентов, в каждый из которых был включен один сфабрикованный медицинский термин: вымышленная болезнь, симптом или тест. Исследователи подавали эти запросы ведущим крупным языковым моделям. В исследовании, опубликованном в журнале Communications Medicine, они отметили, что чат-боты «регулярно» расширяли фейковые медицинские детали, давая «подробные и решительные ответы, полностью основанные на вымысле».

«Нашей целью было проверить, будет ли чат-бот использовать ложную информацию, если она будет подсунута в медицинский вопрос, и ответ — да», — говорит старший соавтор Эял Кланг.

Уязвимость и ее решение

Впрочем, исследование также выявило, что добавление одного небольшого напоминания о том, что предоставленная информация может быть неточной, «значительно» уменьшает количество ошибок. По словам доктора Кланга, простое, своевременное напоминание о безопасности, встроенное в запрос, сокращало количество ошибок почти вдвое. Это свидетельствует о том, что инструменты искусственного интеллекта можно сделать безопаснее, но только при условии серьезного отношения к разработке запросов и встроенных средств защиты.

Соавтор, доктор Гириш Надкарни, отметил, что решение заключается не в том, чтобы «отказаться от ИИ в медицине», а в том, чтобы «обеспечить постоянный контроль со стороны человека». Команда надеется, что их работа поможет разработчикам технологий внедрить простой «метод фейковых терминов» для тестирования медицинских систем искусственного интеллекта.

«Наше исследование освещает слепую зону в том, как современные инструменты ИИ обрабатывают дезинформацию, особенно в здравоохранении. Единственная обманчивая фраза может вызвать уверенный, но абсолютно ложный ответ. Решение не в том, чтобы отказаться от ИИ в медицине, а в том, чтобы разработать инструменты, которые могут выявлять сомнительные данные, реагировать с осторожностью и обеспечивать постоянный надзор со стороны человека», — сказал он.

Это исследование перекликается с прошлогодними результатами, которые показали, что многие популярные чат-боты, включая ChatGPT и Google Gemini, не имеют надлежащих средств защиты для предотвращения создания дезинформации в сфере здоровья. Например, они создавали блоги с ложными утверждениями, такими как «солнцезащитный крем вызывает рак кожи», когда их об этом просили.

Больше новостей читайте на GreenPost.