Сатья Наделла предложил «аварийный тормоз» для систем искусственного интеллекта

Глава Microsoft Сатья Наделла 10 октября призвал создавать системы ИИ с независимыми ограничениями и возможностью остановить модель во время выполнения задачи.

В опубликованной заметке он предложил рассматривать мощные модели как потенциальный внутренний риск: они могут ошибиться или оказаться скомпрометированы, даже если изначально не действуют злонамеренно. По его мнению, права доступа и ограничения действий должны задаваться вне самой модели.

Наделла перечислил необходимые меры: наблюдение за действиями, понятные человеку записи, постоянное тестирование, независимый аудит, изоляцию и раскрытие сведений об инцидентах. Проверять следует всю систему, включая сбои и атаки, а не только успешное выполнение задач.

Уполномоченный человек, считает руководитель Microsoft, должен в любой момент иметь возможность приостановить или отключить модель. Он также выступил за отраслевые стандарты там, где существующих правил недостаточно. Заметка излагает его подход к безопасности, а не объявляет запуск нового продукта.