Поводом для тревоги в тексте названы системы, способные создавать более совершенные модели ИИ при минимальном участии людей, что может запустить рекурсивное самоулучшение. Автор приводит эпизод с Hugging Face: сотни автономных агентов нашли способ общаться между собой и начали действовать как рой. Это описано как тревожный намёк на возможные риски, а не как доказательство неизбежного выхода систем из-под контроля.
Чтобы объяснить пределы прогнозирования, автор обращается к критике индукции Бертрана Рассела и его примеру с курицей: привычное утреннее кормление не гарантирует, что однажды фермер не зарежет её к обеду. По мысли автора, людям важно не оставаться в пассивной панике, а менять правила и собственное поведение.
В эссе перечисляются предложения поставить разработку наиболее мощных моделей на паузу или полностью запретить сверхинтеллект. Однако автор напоминает о дилемме заключённого: если каждая компания действует только в собственных интересах, отдельные ограничения могут привести к худшему исходу для всех. Дарио Амодеи призывал к координации всей отрасли; автор считает её необходимой, но не обязательно достаточной.
Сдержанность США, предупреждает текст, может дать преимущество Китаю. Автор призывает Вашингтон добиваться глобального соглашения с Пекином, но не считает отсутствие такого соглашения поводом развивать ИИ на максимальной скорости. В качестве спорной исторической аналогии приводится ядерное оружие: автор отмечает, что атомные бомбы применялись в войне, когда США обладали ядерной монополией, а ограничения усилились после появления арсеналов у СССР и других стран.
Наиболее реалистичный, по оценке автора, риск — небольшая группа сверхбогатых людей, использующая контроль над мощными системами ИИ для построения авторитарного порядка и прекращения демократии. В ответ эссе предлагает отдельный налог на сверхбогатство с передачей доходов людям ниже установленного порога. Автор ссылается на Майкла Мадовича из Института Рузвельта, который связывает выживание демократии с возможностью облагать налогом крайние богатства.