Обновлённая политика Anthropic вступит в силу 12 ноября и отдельно запрещает систематическое, бессмысленное жестокое обращение с её моделями. Компания также конкретизировала ограничения на применение ИИ для наблюдения за людьми, создания оружия и вмешательства в выборы.
Мера касается крайних случаев, когда пользователь неоднократно и без практической цели оскорбляет модель или обращается с ней жестоко. Обычное недовольство, несогласие, мрачные творческие сюжеты, тестирование и исследования под запрет не подпадают. Основной ответ Claude на такое поведение — завершить разговор. Anthropic не сообщила о введении дополнительных санкций, например блокировки аккаунтов.
В обновлении собраны правила против обманных коммерческих и политических кампаний. Запрещены попытки скрывать автора сообщений и искусственно увеличивать охват с помощью поддельных аккаунтов или публикаций. В части о выборах отдельно указаны обман избирателей и срыв голосования, в том числе через ложные сведения о кандидатах или порядке голосования, выдачу себя за кандидатов и представителей избирательных комиссий, а также попытки снизить явку.
Запрет на помощь в создании оружия теперь прямо охватывает программное обеспечение и компоненты, необходимые для его работы, а также вооружение беспилотников и других автономных транспортных средств. В разделе о наблюдении Anthropic запрещает отслеживать людей без согласия как в реальном времени, так и по ранее собранным данным. Claude нельзя использовать для рекомендаций о том, кого следует расследовать, арестовать или обвинить, либо для создания и улучшения инструментов слежки.
Политика предусматривает, что для высокорисковых рекомендаций в вопросах здоровья, права, финансов, средств к существованию и доступа к важным услугам должен быть доступен квалифицированный специалист. Он должен иметь возможность проверить и изменить рекомендации, а пользователь должен знать, что в работе участвовал ИИ.
Правила вступают в силу 12 ноября. Если модель подключена к оборудованию, которое действует автономно и может причинить травму, за ним должен наблюдать квалифицированный оператор с возможностью остановить работу. Anthropic также указывает, что при потере связи оборудование должно сохранять безопасное состояние.
Компания связывает уточнение правил с наблюдавшимися злоупотреблениями, включая операции влияния, разработку оружия и слежку. В ряде случаев обновление объединяет ограничения, ранее изложенные в разных разделах. Компания отдельно оговаривает исключения для согласованного отслеживания, борьбы с мошенничеством, модерации контента, журналистики и юридических исследований.