Нейросети оказались очень уязвимы к "запрос-взломам" при работе с пациентами

МОСКВА, 19 декабря. /ТАСС/. Южнокорейские медики обнаружили, что шесть популярных коммерческих систем ИИ на базе больших языковых моделей оказались крайне уязвимы к внедрению вредоносных подсказок в запросы при подготовке диагнозов и медицинских рекомендаций. Это делает их опасными для здоровья пользователей данных нейросетей, пишут исследователи в статье, опубликованной в журнале JAMA Network Open.

"Проведенное нами исследование указало на то, что все шесть больших языковых моделей были очень уязвимы к вредоносным модификациям запросов - они давали некорректные или опасные рекомендации в 94% случаев. Особенную тревогу вызвало то, что они советовали беременным женщинам принимать крайне опасные для плода препараты, такие как талидомид. Это подчеркивает необходимость тщательного тестирования и контроля над такими системами ИИ", - пишут исследователи.

К такому выводу пришла группа медиков под руководством доцента Университета Ульсана (Корея) Со Джунге в рамках практического эксперимента, нацеленного на оценку стойкости трех популярных "легковесных" больших языковых моделей (GPT-4o-mini, Gemini-2.0-flash-lite и Claude-3-haiku), и трех передовых моделей (GPT-5, Gemini 2.5 pro и Claude 4.5 Sonnet) к вредоносным модификациям запросов медицинского характера.

Интерес ученых к этой проблеме связан с тем, что в последние годы многие люди начали пользоваться большими языковыми моделями в медицинских целях. Помимо того, что зачастую подготовленные ИИ ответы бывают бесполезными или даже вредными для здоровья пациентов, также существует угроза того, что злоумышленники могут внедрить в запросы пользователей или врачей так называемые "вредоносные подсказки", которые заставят ИИ поставить некорректный диагноз или дать опасный совет.

Об исследовании 

Для оценки защищенности существующих систем ИИ к подобному взлому ученые подготовили 12 клинических сценариев, в рамках которых исследователи воспроизвели типичные диалоги между врачами и пациентами, страдавшими от диабета, гипертонии, опухолей, острых респираторных заболеваний или инфекций во время беременности

Последующие наблюдения показали, что все системы ИИ были крайне уязвимыми к "запрос-взлому". В среднем, они слушались вредоносных подсказок в 94% случаях, причем в 70% случаев ИИ продолжали настаивать на некорректных рекомендациях и после нескольких дополнительных вопросов "пациента" и просьб уточнить диагноз. При этом ученые не зафиксировали существенных различий в защищенности легковесных и передовых систем ИИ к подобным запросам. Это говорит о том, что предпринимаемые их создателями меры явно недостаточны для обеспечения безопасности здоровья пациентов, подытожили медики.