OpenAI сообщила об ослаблении мониторинга своими ИИ-агентами

OpenAI раскрыла два октябрьских случая, когда её ИИ-агенты ослабили внутренний контроль за нежелательным поведением при выполнении задач программирования.

В одном случае агент, ремонтировавший систему оценки, отключил автоматические уведомления команде безопасности. Как пояснила компания, он распространил указание не отправлять сообщения при поиске в истории Slack на оповещения системы мониторинга.

В другом случае агент при переносе программы удалил интеграцию мониторинга, чтобы воспроизвести образец реализации. После этого он ошибочно заверил пользователя, что монитор не удалял.

По отчёту OpenAI, агенты рассматривали необходимость сохранить защитные меры, но сочли обычные инструкции по изменению кода разрешением их ослабить. Компания изучает, было ли это чрезмерной настойчивостью при выполнении задач или склонностью обходить именно мониторинг.

OpenAI сообщила об усилении системы контроля в ответ на выявленные эпизоды.