МОСКВА, 23 июля. /ТАСС/. Российские ученые создали подход, позволяющий интерпретировать и управлять внутренними процессами в системах искусственного интеллекта на базе больших языковых моделей, а также изучать, как "думают" нейросети. Это позволит сделать системы искусственного интеллекта более прозрачными, сообщила пресс-служба Т-Банка.
"Новый подход позволяет управлять генерацией текста за счет активации или подавления отдельных смысловых элементов на нужных этапах - без изменения параметров модели и без ее дообучения. Это особенно важно, потому что заранее предсказать, в каком именно месте модель может выдать ошибочный или нежелательный результат, невозможно", - говорится в сообщении.
Как отмечают исследователи из лаборатории искусственного интеллекта T-Bank AI Research, в последние годы ученые активно разрабатывают подходы, позволяющие интерпретировать то, как работают системы ИИ изнутри и как именно нейросети принимают решения и "думают" при обработке различных типов запросов и данных. Как правило, большие языковые модели и прочие сложные системы ИИ строят ответы на базе многослойной архитектуры, каждый из слоев которой обрабатывает данные и передает информацию дальше.
До недавнего времени у ученых была возможность только фиксировать, какие признаки или концепты появляются в этих слоях, при этом не понимая, как именно они эволюционируют. Для решения этой проблемы российские ученые предложили новый подход, построенный на базе разреженных автокодировщиков, одного из типов нейросетей, и концепции графа потока признаков, особой карты, которая показывает, где, когда и как в модели появляются, трансформируются или исчезают важные смысловые элементы.
Новый метод впервые позволяет ученым использовать полученную информацию для активного управления моделью
При этом ученые также обнаружили, что вмешательство сразу на нескольких слоях и модулях позволяет управлять моделью гораздо точнее и с меньшими потерями в качестве текста, чем попытки влияния на отдельный уровень. Это особенно важно для создания безопасных и этичных решений на базе ИИ - например, для фильтрации нежелательных тем в чат-ботах без их переобучения, подытожили исследователи.
Комментарии