ITCOW牛新网 2月14日消息，网络基础设施服务商Cloudflare近日推出一项名为“Markdown for Agents”的新功能，该功能可自动将传统的HTML格式网页内容转换为更适合AI处理的Markdown格式，旨在从源头解决AI爬虫与智能体解析网页内容的效率与成本问题。
Cloudflare指出，当前绝大多数网页内容采用HTML格式构建，其设计初衷是为了便于人类用户通过浏览器进行视觉化阅读，而非针对AI程序进行信息抓取与解析。HTML文档中内嵌的大量用于渲染布局的标签，对AI模型而言是冗余甚至干扰信息，导致在提取相同信息时，AI需要处理远超必要量的数据令牌（Token）。测试显示，一篇官方博客的HTML版本需消耗16180个Token，而转换为Markdown格式后，所需Token数量锐减至3150个，数据处理量降低了超过80%。
据ITCOW牛新网了解，此项功能是Cloudflare帮助企业客户在生成式AI（AIGC）浪潮中优化成本与效率的关键举措。通过云端服务自动完成格式转换，企业无需自行改造现有网页，即可使其内容对AI爬虫和智能体变得“更易读”。这不仅显著降低了AI访问和解析内容的计算开销与API调用成本，也提升了AI获取信息的准确性和速度。