Модель прогоняет каждый случай несколько раз со случайно измененными весами. Если ответы расходятся, решение лучше передать человеку. Это заодно мешает обманывать ИИ подделанными даннымиАвтор Hi-Tech Mail
Исследователи Национального исследовательского ядерного университета «МИФИ» разработали нейросеть, которая оценивает, насколько можно доверять ее собственному ответу, и лучше обычных моделей выдерживает попытки ее обмануть. Об этом сообщила пресс-служба вуза на портале «Атомная энергия 2.0». Работу опубликовали в научном журнале Knowledge and Information Systems.
Авторы исследования — аспирант Роджер-Ник Анаедевха и доцент кафедры «Кибернетика» кандидат технических наук Александр Трофимов. В основе их подхода лежит так называемый стохастический трансформер. В обычной нейросети внутренние коэффициенты, или веса, после обучения зафиксированы. В новой модели у каждого нейрона вместо одного значения есть целое «облако» возможных. При каждом запуске модель случайно выбирает веса из этого облака, поэтому один и тот же объект дает целый набор прогнозов.
Если после многократных прогонов вывод не меняется, ему можно доверять сильнее. Если же ответы расходятся, значит, решение зависит от мелких колебаний внутри самой модели, и такой случай лучше отдать на проверку человеку. Качество этой самооценки ученые измерили метрикой ожидаемой ошибки калибровки. Она показывает, насколько заявленная моделью уверенность совпадает с реальной долей верных ответов. Результат составил 0,043, что авторы считают хорошим показателем.
Второе преимущество касается защиты. Нейросеть можно обмануть, если едва заметно исказить входные данные: человек разницы почти не увидит, а модель придет к неверному выводу. Из-за случайности параметров разработка превращается в «движущуюся мишень». Искажение, сработавшее при одном запуске, при следующем может уже не подействовать. Модель проверили на трех распространенных типах таких атак, и она выдержала их лучше базовых моделей. Кроме того, ей понадобилось на 81% меньше размеченных данных для обучения: при этом она достигла 97% от максимальной точности.
Систему испытали на девяти наборах данных из трех областей: поиск сетевых вторжений, выявление токсичного контента и распознавание фейковых новостей. «Наша работа доказывает, что стохастичность в параметрах модели не мешает, а помогает: она делает ИИ одновременно и более защищенным, и более достоверным», — заявили авторы.
У метода есть очевидный недостаток. Из-за повторных прогонов он работает в 4-5 раз медленнее обычной нейросети. Ученые рассчитывают ускорить его: сократить число прогонов и перенести знания модели в более компактную. Следующим шагом они хотят адаптировать подход для больших языковых моделей с помощью технологии LoRA, которая позволяет дообучать крупные нейросети, меняя лишь небольшую часть параметров. Код и модели выложены в открытый доступ. Пока это исследовательская разработка, но авторы надеются, что она пригодится в кибербезопасности.
Ранее мы рассказывали, по каким причинам нейросети ошибаются и выдумывают ответы.
Получайте свежие новости в сфере искусственного интеллекта в нашем телеграм-канале >>