Редакция сайта ТАСС
МОСКВА, 27 ноября. /ТАСС/. Российские ученые изучили, насколько хорошо большие языковые модели, другие формы систем машинного обучения и классические алгоритмы распознают признаки депрессии в текстах на русском языке. Эти тесты показали, что большие языковые модели превосходят остальные системы, но они делают много ошибок при постановке диагнозов, сообщила пресс-служба Института искусственного интеллекта AIRI.
"Наша работа показывает, что потенциал применения больших языковых моделей в скрининговых или вспомогательных инструментах очень высок, но до внедрения в клиническую практику необходимо не только повысить интерпретируемость и качество объяснений, но и решить вопросы расширения клинической базы", - пояснил научный сотрудник группы "Обучение на слабо размеченных данных" AIRI Глеб Кузьмин, чьи слова приводит пресс-служба института.
Специалисты из AIRI, а также ФИЦ ИУ РАН, ИСП РАН, МФТИ, РУДН и MBZUAI впервые всесторонне изучили, насколько хорошо распознают депрессию различные большие языковые модели, нейросети-трансформеры и классические алгоритмы машинного обучения. Для этого ученые подготовили набор текстов, написанных как здоровыми людьми, так и клинически подтвержденными носителями депрессии, а также собрали группу клинических психологов для проверки объяснений, сгенерированных ИИ.
В этот набор тестовых примеров, как отмечают исследователи, входили как 500 коротких эссе, написанных здоровыми добровольцами и носителями депрессии специально для этого исследования, так и набор сообщений в социальных сетях, оставленных русскоязычными пользователями во время пандемии и в другие периоды. Эти данные были особым образом размечены и использованы как для обучения систем ИИ, так и для проверки качества их работы.
Проведенные учеными проверки показали, что большие языковые модели значительно превосходят традиционные методы, особенно на небольших и "шумных" наборах данных, где тексты сильно различаются по длине и жанру. При этом классические системы машинного обучения и трансформеры в целом были сопоставимы с большими языковыми моделями при использовании клинически валидированных данных для их обучения.
Эксперты-психологи пришли к выводу, что большие языковые модели делают много ошибок при постановке диагнозов
Комментарии