ITCOW牛新网 7月2日消息，互联网基础服务商 Cloudflare 于当地时间7月1日宣布对网络爬虫屏蔽管理机制进行细化升级，按机器人行为打上搜索、代理、AI训练等标签分类管理，并计划自2026年9月15日起默认禁止AI代理及模型训练型爬虫访问含有广告的网页内容，给予站长更精细的流量控制权。
Cloudflare 解释，多数网站主希望自身内容可被AI发现引用，但不愿因无差别全站抓取造成知识产权流失或带宽浪费；负责任的AI公司会明确标注爬虫用途，但市面上仍存在大量“混合型爬虫”同时执行搜索索引与数据搜集双重任务。新版爬虫管理器将为混合型机器人匹配其所有已声明的行为模式——这意味着只要其中一种行为（如模型训练抓取）被站长禁止，该爬虫整体将无法在此站点继续爬取，避免出现“换个马甲就能绕过”的漏洞。
据ITCOW牛新网了解，Cloudflare 同步推出多项配套功能：新版归因业务洞察仪表板可适配搜索优化从传统SEO向GEO（生成式引擎优化）与AEO（答案引擎优化）演进的需求，帮助站长看清各AI爬虫的实际访问价值；页面变动监控功能将避免爬虫对未更新内容做无意义重复抓取，降低源站负载；并按使用量计价的合规抓取付费模式也在规划中，为高质量数据源提供商业化通路。随着9月中旬默认拦截规则生效，预计将倒逼AI训练数据采购方更主动地与内容平台协商授权协议，而非默默无偿爬取。