В обнародованной судебной жалобе штата утверждается, что TikTok включал тысячи пользователей, среди них подростков и детей, в тесты с неработающей версией функции Algo Refresh. Люди полагали, что сбросили рекомендации, хотя их ленты не менялись.
По версии генпрокурора Нью-Йорка Летиции Джеймс, компания проводила так называемые «плацебо-тесты» на пользователях, которые пытались включить инструменты безопасности. Algo Refresh предназначена для перезапуска системы рекомендаций, чтобы пользователь мог уйти от нежелательного или потенциально вредного контента. В жалобе говорится, что участники тестовой группы считали функцию включенной, хотя их лента оставалась прежней. У пользователей контрольной группы инструмент работал.
Как утверждается в иске, тесты повторяли в 2023 году на тысячах пользователей. Компания сравнивала, сколько времени на платформе проводили люди с работающей функцией и без нее, а также оценивала влияние на рекламную выручку. Сотрудник отдела цифрового благополучия TikTok, отвечавший за продукт, называл плацебо-тестирование проблемным и писал во внутреннем чате, что оно противоречит цели функции — обеспечить прозрачность алгоритма и контроль над ним.
Раскрытые материалы входят в иск Джеймс, поданный в 2024 году. Нью-Йорк и более двух десятков других штатов обвиняют TikTok в том, что платформа спроектирована так, чтобы вызывать зависимость у детей, а заявления компании о безопасности вводят пользователей в заблуждение. TikTok в судебных документах в целом отверг обвинения. Представитель компании заявил, что она регулярно тестирует новые продукты и функции, чтобы оценивать их работу в реальных условиях.
В иске также описан другой эксперимент, о котором ранее сообщал Bloomberg. По этой версии, TikTok случайным образом отключал у отдельных пользователей защитные настройки, ограничивавшие показ вредного контента. Bloomberg сообщил, что подросток из Нью-Йорка, участвовавший в тесте, умер в результате самоубийства после того, как ему показывали материалы о самоповреждении и самоубийстве. В иске говорится, что внутренние проверки выявили у него поток такого контента.
В сентябре TikTok урегулировал первое дело штата, которое должно было дойти до суда. Компания согласилась выплатить Алабаме до 300 миллионов долларов и изменить работу платформы для подростков в этом штате.