NIST выпустил руководство по кибербезопасности для разработчиков ИИ

Американский институт стандартов и технологий (NIST) предостерегает, что полностью защитить системы искусственного интеллекта (ИИ) от манипуляций пока невозможно, и разработчикам следует остерегаться заявлений об обратном. Новое руководство NIST описывает уязвимости систем предсказательного и генеративного ИИ и машинного обучения (ML), возможные типы атак и методы их предотвращения.

Документ под названием Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (NIST.AI.100-2) описывает методы манипуляции поведением ИИ, такие как «отравление» данных во время обучения или «уклонение» - изменение входных данных после развертывания системы. Отмечена возможность обратной инженерии для выявления слабых мест ИИ через сообщения чат-ботов, а также внедрение неверных данных непосредственно в источники информации.

Отчет упоминает также важность внутреннего тестирования ИИ на уязвимости и признает несовершенство процесса разработки защитных мер. Он говорит о том, что признание необходимости компромиссов между надежностью и другими характеристиками систем ИИ является важным аспектом в выборе между доверием и функциональностью.

кибербезопасность, ИИ, руководство