Cloudflare сообщила, что с 1 сентября 2026 года включит по умолчанию блокировку ИИ-краулеров для пользователей с защитой от ботов. Владельцы сайтов смогут запретить ИИ-моделям использовать их контент для обучения.
По сути, компания переносит контроль за сбором данных на уровень инфраструктуры. Если сайт уже работает с антибот-защитой Cloudflare, ему не придется отдельно настраивать фильтры под ИИ-сборщиков: ограничение включится автоматически.
Это бьет сразу по двум направлениям — по обучению моделей и по работе поиска. Чем точнее сайты начнут разводить доступ для поисковых ботов и ИИ-краулеров, тем сложнее станет собирать материалы без разрешения владельца.