РОСТОВ-НА-ДОНУ, 19 июня. /ТАСС/. Ученые Южного федерального университета (ЮФУ) придумали новый способ тестировать искусственный интеллект (ИИ) на способность работать в реальных ситуациях использования русского языка на примере интеллектуальных игр "Что? Где? Когда?" и "Своя игра". Об этом сообщили в пресс-службе вуза.
"Исследователи искусственного интеллекта из Международного исследовательского института интеллектуальных материалов ЮФУ предлагают использовать интеллектуальные языковые игры, как пример - заставлять ИИ отвечать на вопросы из архива телевикторины "Что? Где? Когда?" и "Своей игры", чтобы тестировать ИИ на способность не просто выдавать на русском языке информацию, переведенную с английского, а выдавать ответы, которые будут верны в отношении культурного контекста России", - говорится в сообщении.
По данным создателей ИИ, основная часть моделей нейросетей способны мыслить и рассуждать на различных языках, несмотря на то, что обучены они в основном на английском. Однако, исследование ученых ЮФУ показало, что, к примеру, модель из семейства LLaMa-3, демонстрирующая хорошее владение русским языком на общих примерах, ошиблась в вопросах, требующих знания специфических для русскоязычной культуры фактов.
"Например, вопросы о композиторе Владимире Шаинском, о Царь-пушке в Кремле, о спортивных объектах, построенных вокруг Москвы к Олимпиаде-80, тривиальные для русскоязычных людей, оказываются не под силу для LLM на 405 миллиардов параметров, владеющей десятками естественных языков и языков программирования, разбирающейся в куче вопросов, от квантовой механики до медицины", - добавили в вузе.
Вместе с этим исследователи ЮФУ протестировали несколько методов генерации ответов, включая критику сгенерированных ИИ вариантов: модель сначала должна предложить несколько ответов, а затем самой себе объяснить, почему каждый из них неверен. Тот вариант, на который она сможет придумать меньше критики, она и предлагает как верный. По мнению ответственного исполнителя проекта "Фронтирная лаборатория рентгеноспектральной нанометрологии" Центра наукоемкого приборостроения ЮФУ Богдана Проценко, такой подход в тестировании ИИ показывает прирост точности по сравнению с методами без "критики".
Комментарии