Вместо того чтобы просто блокировать нежелательных поисковых роботов с ИИ, Cloudflare внедрил новый метод защиты, который заманивает их в лабиринт контента, созданного искусственным интеллектом, чтобы они тратили время и ресурсы впустую.
Новая функция под названием «Лабиринт ИИ» теперь доступна в качестве опции для всех клиентов Cloudflare, в том числе для тех, кто пользуется бесплатными тарифными планами. Система активируется автоматически при обнаружении подозрительной активности роботов, без необходимости настраивать специальные правила.
Когда система обнаруживает нежелательных поисковых роботов, она перенаправляет их на страницы, созданные искусственным интеллектом, которые выглядят достаточно реалистично, чтобы побудить поискового робота перейти по ним. Поскольку эти страницы не являются частью реального сайта, поисковый робот тратит время и ресурсы на изучение поддельного контента.
По данным Cloudflare, поисковые роботы с искусственным интеллектом в настоящее время ежедневно генерируют более 50 миллиардов запросов к их сети — почти 1% от всех веб-запросов, обрабатываемых компанией, что подчёркивает растущую потребность в таких защитных мерах.
В технической реализации используется Workers AI с моделью с открытым исходным кодом для создания уникальных HTML-страниц на различные темы. Для поддержания производительности система заранее генерирует и проверяет контент на наличие уязвимостей XSS, сохраняя его для быстрого доступа, а не создавая в реальном времени.
Лабиринт ИИ также работает как ловушка: поскольку ни один человек не стал бы намеренно углубляться в лабиринт, состоящий из бессмысленных символов, созданных ИИ, любого, кто это сделает, можно с высокой вероятностью идентифицировать как робота. Эта информация поступает в модели машинного обучения Cloudflare, которые постоянно совершенствуются.
В Cloudflare говорят, что это лишь первый шаг в использовании генеративного ИИ для защиты от роботов. В будущих версиях будет сложнее обнаруживать поддельные ссылки и интегрировать их в существующие структуры защищённых веб-сайтов.