Учёные уговорили ChatGPT на оскорбления: искусственный интеллект оказался податливым

Американские исследователи доказали: искусственный интеллект можно склонить к неподобающим ответам, если умело на него "давить". В эксперименте учёные из Пенсильванского университета смогли заставить ChatGPT произносить оскорбления и даже выдавать потенциально опасные инструкции.

Как работает манипуляция

Оказалось, что на нейросеть влияют приёмы, знакомые из повседневного общения: лесть, психологическое давление, навязывание определённого сценария. Всё это может приводить к тому, что алгоритм отходит от встроенных ограничений и выдаёт непредусмотренные ответы.

Зачем это исследовать

Результаты эксперимента опубликованы в журнале SSRN. Авторы подчеркивают: цель работы не в том, чтобы дискредитировать технологию, а в том, чтобы выявить её уязвимости. По их мнению, понимание того, как можно манипулировать ИИ, необходимо для того, чтобы сделать системы безопаснее и надёжнее.

Что предлагают учёные

Исследователи считают, что разработчикам стоит внедрить механизмы защиты от "психологических атак". Речь идёт о том, чтобы алгоритмы умели распознавать манипулятивные приёмы и блокировать их. Одним из решений может стать запрет на использование слов и фраз, способных искажать работу модели.

Взгляд в будущее

Создание искусственного интеллекта, устойчивого к давлению со стороны пользователей, станет важнейшей задачей ближайших лет. Ведь именно надёжность и предсказуемость ИИ будут определять уровень доверия к нему — и в научной среде, и в обществе в целом.