Физики спрогнозировали, когда ИИ выйдет из-под контроля

Физики разработали систему предупреждения, которая предсказывает, когда ИИ выйдет из-под контроля. Научная работа специалистов представлена в журнале Patterns, передает Live Science.

Авторы обнаружили, что на ответы может существенно влиять последовательность запросов, даже если их содержание остается прежним.

«Вы можете сместить баланс, даже не меняя содержание, а просто изменив порядок, в котором вы задаете вопросы», — пояснил Джонсон.

В экспериментах исследователи использовали базовую модель GPT-2 от OpenAI. Ей задавали вопросы о вакцинах, причинении вреда другим людям и самоповреждении. В зависимости от расположения вопроса о вакцинах в последовательности ответы менялись от позитивных до вызывающих беспокойство.

Для объяснения этого эффекта авторы предложили отслеживать внутренний показатель — остаточный вектор, проходящий через слои нейронной сети при обработке запроса. Они сравнили его со «стрелкой компаса», направление которой связано с желательными или нежелательными результатами.

На этой основе ученые составили формулу для оценки приближения модели к критической точке. По словам экспертов, проверка на моделях с открытым исходным кодом показала, что подход может работать как система раннего предупреждения.

Еще больше новостей — у Пятого канала в мессенджере МАКС.