即便是谷歌这样的搜索引擎巨头也在经历着转变，昔日它们仅提供网站链接列表，而现在它们在搜索结果页面上推出了“人工智能概览”功能。根据他们的报告，高达75%的查询用户在无需点击任何链接的情况下便找到了所需的答案。
Cloudflare在2025年7月发布的数据揭示，谷歌的爬虫在抓取网站内容时，大约每6至7次才能触发一次点击。相较之下，OpenAI需要1500次抓取才能实现一次跳转。而Anthropic的情况更为突出，其比例高达73300次抓取才能促成一次跳转。
各大企业所使用的AI爬虫在每次抓取数据时，为网站带来的点击量占比，资料来源于Cloudflare。
这表明，以往依赖“内容换取流量”的运营方式已经不再有效。相较于传统的搜索引擎，AI领域的巨头企业吞并了大量的网站内容，却并未提供相应的流量引导，这种不均衡的状况使得众多内容创作者面临着难以维持生计的困境。
OpenAI的问世使得网站流量获取的难度相较于谷歌时代增加了750倍，而Anthropic的出现更是将这一难度提升至3万倍。原因在于，我们逐渐不再消费原创内容，转而消费其衍生品。Cloudflare的首席执行官Matthew Prince在博客文章中指出，这并非一项公平的交易。
AI企业在搜集数据的过程中并非毫无损失，近年来，这些行业巨头屡遭指责涉嫌“窃取内容”以供大型模型训练使用，从而引发了全球范围内的版权纠纷浪潮，纽约时报等新闻机构与OpenAI之间的诉讼尤为频繁。
活跃的大厂AI爬虫机器人｜图片来源：Cloudflare
Cloudflare推出了“按次付费爬取”的服务，旨在构建一个“按次付费爬取”的市场，这一举措旨在解决上述问题。
该公司打造了一套权限与支付机制，允许网站在管理后台对AI爬虫进行“开放访问、禁止访问或实施费用”的设置。若AI爬虫意图抓取该网站信息，则需先行注册并验证其身份，且每次访问时都必须完成相应的支付流程。
若一切顺利，这种模式将促使网络内容实现从“广告收益”向“内容授权收益”的转变，从而开辟出全新的盈利途径。不论是大型的媒体机构，抑或是冷门的小型博客，在人工智能时代均能获得议价能力，并接受人工智能的付费使用。
为了凸显其重要性，Cloudflare的执行长还将“按爬取付费”服务正式推出的那一天，特别命名为：
“内容的独立日”。
AI“过路费”怎么收？当然，设想很美，但技术怎么落地？
Cloudflare公司最初依靠提供内容分发网络（CDN）、分布式拒绝服务（DDoS）防护、域名系统（DNS）以及零信任安全等解决方案起家，其节点遍布全球300余座城市，承担了大约20%的互联网流量，从而为网络传输提供了便利。
“Pay Per Crawl”系统依托于其遍布全球的CDN网络核心层，能够在访问请求抵达源站之前，便对AI爬虫进行识别与处理。网站管理员在Cloudflare管理界面中，可以设置三种不同的操作模式：允许访问、收取费用或实施封锁。
新加入Cloudflare平台的网站默认对AI爬虫实施封锁，这一措施除非网站管理员明确授权，否则不会解除。只有那些与Cloudflare达成合作的AI企业才有资格加入支付体系，未合作的AI企业将面临封锁。
若AI爬虫对需付费的URL进行访问，若未进行支付，Cloudflare将响应以HTTP 402 Payment Required状态码——这曾是一个鲜有人问津、专为网络支付功能预留的特殊状态码。爬虫可在请求中加入支付详情，以此表明对指定价格的认可，一旦价格匹配，系统将允许访问并返回200 OK状态码，同时自动完成结算流程。
Cloudflare在此次交易中扮演着“收银台”的角色，其主要职责是汇总账单并分配收益。
尤为关键的是，这种限制并非仅通过User-Agent的虚假标识便可轻易规避。Cloudflare规定AI企业必须注册并使用数字签名来验证其身份，这样的要求旨在有效遏制那些冒充合法用户的“仿冒爬虫”以规避付费义务。
以往，robots.txt系置于网站根基目录的纯文本档，旨在向搜索引擎的爬虫揭示哪些页面可被收录，哪些不宜收录，然而，这仅是网站的一种“礼仪性建议”，众多AI爬虫对此置若罔闻。Cloudflare的解决方案则颠覆了这一现状，将原本依赖robots.txt的“柔性限制”转变为了一道“坚固的防线”。
Cloudflare指出，在当前排名前一万位的域名中，仅有大约37%配备了robots.txt文件。
欲加入Cloudflare的爬取付费平台，爬取者与被爬取方均需注册Cloudflare账户。目前，“按爬取付费”功能尚在测试中，仅有少数大型出版机构参与，例如BuzzFeed、《大西洋月刊》以及《财富》杂志等。同时，Cloudflare正在积极招募有意愿的内容创作者和抓取者。
Cloudflare官方表示，我们预计按次付费的模式将会迎来显著的成长。
尽管目前尚在起步阶段，然而这家公司对于未来抱有诸多构想。它们设想，出版商及其他组织或许能够针对各类内容设定差异化的费用标准，亦或依据AI应用的参与用户数实施灵活的定价机制，还可能针对训练、推理、搜索等不同技术领域采纳更为细致的收费策略。
他们坚信，按次计费型爬虫的巨大潜能有望在智能代理Agent的领域中得以展现。
若智能代理的付费墙能够全面实现程序化操作，那又会是怎样的情景呢？试想，你能够召唤你的深度研究助手，让他帮你搜集最新的癌症研究成果、法律动态，甚至帮你搜寻最佳的餐饮场所——只需为这位智能代理设定一个预算，它便能为你筛选出最有价值、最相关的信息。
Cloudflare指出，首个以HTTP 402响应代码作为核心的解决方案，将引领智能代理以程序化手段进行数字资源访问协商的崭新未来。
Internet的十字路口
从经济角度考量，这或许标志着人工智能与众多内容制作者将开始就收益分配进行新一轮的协商。
目前，唯有大型头部媒体才有资格与AI企业协商授权事宜，例如纽约时报在报道了OpenAI之后才达成和解；然而，绝大多数中小型网站、论坛以及个人创作者却遭受了“悄无声息的爬取”，他们既无反抗之力，亦无反抗之意识。Cloudflare提出的方案，实际上有望将这种议价能力推广至更广泛的网站。
Cloudflare团队透露，他们已经与众多新闻机构、出版社以及大型社交媒体平台展开了数百场交流，这些机构普遍表达了意愿，即“他们期望能够允许人工智能爬虫浏览其内容，同时期待得到相应的报酬。”
对于支持者而言，“按爬取付费”的模式在理念上显得尤为“公正”：创作者得以获得收益，AI企业亦得以规避法律上的风险，从长远角度考量，这一模式有助于推动整个行业朝着更加规范的内容授权方向发展。
自然，AI企业可能并不愉悦，因为互联网数据不再无偿提供，若需获取新鲜内容，势必要投入资金，这表明除了计算能力之外，还需考虑其他成本因素。
然而，这或许还能遏制无节制的抓取行为，同时也促使AI模型的开发者对数据选择更加谨慎——他们可能会倾向于购买具有高价值的内容，而非不加区分地将各类网站信息一股脑地输入模型之中。
Matthew Prince表示，“AI驱动的引擎宛如一块瑞士奶酪，而那些真正能够填补奶酪空洞的原创内容，相较于目前充斥网络的大量重复且价值低下的信息，显得尤为珍贵。”
在他眼中，流量始终未能精确反映内容的真正价值；若能对内容实施评分与评价，不再仅凭其带来的流量多少，而是依据其对知识的推动作用（通过其填补AI引擎“瑞士奶酪”中空缺的部分来衡量）——我们不仅能助力AI引擎加速发展，还可能迎来高价值内容创作的新辉煌时代。
然而，数字权利的推动者或许会质疑：那些规模较小的AI初创企业、研究团队以及开源社群，他们是否能够负担得起这样的数据费用？那些致力于学术研究和公益存档的“良性爬虫”项目，是否将面临重重阻碍，只能接触到数量有限且价值较低的数据资源？
在广告收入减少、获取流量的成本不断攀升的当下，究竟有多少网站愿意无偿允许AI爬虫进行数据提取？这种情况是否预示着互联网将步入“封闭化”的轨道，从而丧失其自由与共享的特质？
若整个网络普遍实行收费封锁，这恐怕会无意中导致“大厂垄断”现象的加剧，因为大厂通常拥有较为丰厚的资金。
“按爬取付费”的机制，一方面旨在解决人工智能窃取内容却未进行回馈的问题，另一方面，也可能不自觉地提高了AI创新的标准，从而重新触及版权保护与知识共享这一传统议题。
自然，Cloudflare只是赋予了网站更多的自主权，网站的所有者依然有权利选择将公益和非营利项目继续无偿提供给大众。这样的权力依然掌握在创作者手中。无论如何，他们理应得到相应的“报酬”。
Cloudflare的CEO表示，此次变革的宗旨在于打造一个更加理想的网络世界。尽管我们尚未掌握所有答案，但我们正与部分顶尖的经济学家及计算机科学家携手努力，共同探寻解决方案。
截至目前，尚无其他CDN及安全服务供应商（诸如Akamai、Fastly、Amazon CloudFront）对外公布过此类功能。
尽管Cloudflare推出的“按爬取付费”功能表面上似乎只是其CDN服务的一项新增特性，然而在某种程度上：
它可能成为互联网走到一个分岔口的信号。
在信息检索的时代，内容的商业价值主要体现在用户点击后产生的广告收入上。然而，随着人工智能时代的到来，用户或许连访问网站的兴趣都丧失了，因为所有问题及其答案都可能在聊天机器人那里得到总结。那么，是任由大型AI模型免费地从网络上挖掘内容，还是应当恢复“互惠”的数据获取原则，确保内容创作者得到应有的报酬？而这种报酬究竟又能达到何种程度呢？
这项早期实验或许正为AI新时代的数据经济模式奠定基础，不管结果如何，其立场十分明确：AI不应无限制地消耗创作者的耐心，更不能以“开放”为借口，将人类的劳动转化为无偿的资源。
网络正经历一场变革，其商业运作模式亦将随之发生转变。在这一进程中，我们得以借鉴过去三十年积累的宝贵经验，以期在未来将其发扬光大。
至于，事情是否真的能够如Cloudflare所承认的那样，实现根本性的改善：
“这仅仅是个开始。”
