互联网的变革：代理互联网的到来与市场的崛起
一年前，我们宣布了[内容独立日](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)。当时，我们看到行业中的许多人开始感受到：互联网的基本经济正在发生变化。AI 的采用正在加速，内容发布者的推荐流量急剧下降，且 AI 公司以空前的规模在网络上抓取信息，通常没有明确声明意图，几乎总是没有付费。
我们变更了默认设置。对于所有在 Cloudflare 上的新域名，AI 训练爬虫默认会被阻止，除非域名所有者选择放弃此设置。我们并不是想把互联网封闭起来，而是相信一个更健康的生态系统需要透明度、控制、稀缺性，最终形成一个能够公平交易高质量内容的市场。
一年后，这个市场已经出现。但互联网的转型比我们预期的还要快。在这份报告中，我们分享一些关键数据，来说明互联网商业模式的变化速度，以及这个新内容市场对发布者和站点所有者意味着什么。
## 第一部分：互联网变得更加迅速
### 垂直采纳曲线
AI 不仅仅是另一个技术周期。它是一个平台的转变，其速度超过了智能手机被采纳的两倍。在短短3.5年内，超过30%的人类——25亿活跃用户——已经开始定期使用生成型 AI。这条采纳曲线不仅陡峭，更是直线式上升。
### 开放网络的衰退
人类与信息互动、进行工作和在线消费时间的方式发生了前所未有的快速变化。
今天，每当人们在线搜索信息花费一小时，只有15分钟是在开放网络上度过。传统的搜索行为正在崩溃，用户转向 AI 驱动的信息发现和消费。而他们不再需要访问多个网站获取和比较信息，只需键入一个提示，就能几乎瞬间获取汇总的答案。
### 代理互联网的到来
今年，代理流量首次突破历史性阈值：互联网上超过50%的流量为非人类流量。这一变化对发布者、内容所有者以及开放网络的未来具有巨大影响。
### 爬虫的功能发生改变
在分析 Cloudflare 识别的爬虫流量功能时，结果相当清晰：
- 截至2026年6月，52%的爬虫请求用于 AI 训练，较2025年春季的22%大幅上升。
- 混合用途的爬虫（涉及搜索、代理使用和训练）占活动的36%以上。
- 纯搜索爬虫目前只占整体爬虫活动的一小部分，并且这种占比还在下降，但仍对发布者的可见性至关重要。
随着 AI 训练成为爬虫活动的主要驱动因素，区分发现与训练的能力变得愈发重要。混合用途爬虫模糊了这种区分，让内容所有者面临困难：在代理时代，选择仍然可被发现而付出代价，却又未能获得相应的报酬。
### 旧商业模式的消失
数十年来，开放网络的经济模型十分简单。内容创作者以可见性换取对其内容的访问，从而驱动推荐流量。该流量成为出版商、创作者和企业创造经济价值的主要机制。
但如今，这种交换正在崩溃。内容仍在被抓取、索引和使用，但越来越多地并没有将对应流量返回给源站。随着 AI 系统回答问题、比较产品、进行研究和直接完成任务，开放网络中的信息越来越多地成为 AI 训练和检索系统的一部分。由此提出的生死攸关的问题是：如果内容被使用而观众根本未曾访问源站，内容创作者如何维持生存？
### 行业无一幸免
最早受到影响的行业是新闻组织和媒体公司。如今，类似的动态正在影响到零售、软件、IT和金融等许多企业。在一些爬取最频繁的类别中，人类流量在不到一年内减少了40%。
许多发布者现在正在准备迎接“谷歌零流量”——一个几乎没有流量来自搜索推荐的世界。
这一影响波及几乎所有行业。任何在互联网上发布专有信息的组织都需要了解如何在代理时代运作。这种动态对内容拥有者和我们所有人都至关重要。互联网是全球经济的重要组成部分，也是提供信息的世界最重要的公共资源之一。确保其健康和可持续发展对我们所有人来说至关重要。
## 第二部分：市场的崛起
### 我们构建了什么
当我们推出内容独立日时，我们承诺了三件事：
1. 为站点所有者提供透明度和控制，允许他们定义内容的访问和变现方式。
2. 提供创造稀缺性的工具，将权力重新转回内容拥有者手中。
3. 建立一个市场，使内容创作者和各种规模的 AI 公司能够更高效地发现、许可和确定内容的价值。
一年后，内容的变现市场已经出现，动态市场的条件也在形成。
### 透明度和控制创造稀缺性
历史上，发布者对 AI 公司如何访问和使用其内容的透明度有限。随着推荐流量的减少，这种缺乏透明度变成了一个经济问题，促使发布者寻求新的价值捕捉方式。
Cloudflare 的归因、商业情报和执行工具使发布者能够在网络层面上看到 AI 的使用情况——这一执行机制比像 robots.txt 这样的自愿标准更为有效。对于发布者而言，他们首次能够确定其内容的访问和变现方式。这种控制创造了稀缺性，并推动了供需内容经济的形成。
### 稀缺性创造了杠杆
那些成功行使控制的发布者创造了稀缺性，获得了谈判杠杆，使得交易条件变得更好。发布者首次获得了操作级的归因数据——证据显示 LLM（大型语言模型）试图访问其内容的频率、哪些竞争 LLM 在抓取、最受欢迎的 URL 以及他们的抓取与推荐比例。这减少了许可讨论中的信息不对称，让发布者能够从知识的角度进行谈判。
### 杠杆改变了力量的平衡
这种杠杆赋予了我们的客户更大的权力。随着他们对 AI 系统如何访问和使用其内容的了解加深，他们变得更有能力理解这对其业务的影响，并更有信心地表达他们所拥有的信息、品牌和受众的价值。
随着内容所有者与 AI 公司之间的权力平衡开始改变，许可经济正在出现：
- 自2023年以来，签署了超过50份发布者与 AI 的协议。
- 主要 AI 公司现在积极授权内容，越来越认识到差异化和优质内容的价值。
- 集体许可模型继续出现和扩大。
- 大型发布者正在获得有意义的许可协议，证明在 AI 生态系统中内容具有真实的经济价值。
内容应该得到补偿的讨论不再是<em>是否</em>，而是<em>如何</em>的问题。
### 市场正在成熟，但仍存在低效
早期许可协议证明了市场需求的存在，但今天的许可仍然主要是定制的，且不太可能完全取代丧失的推荐、广告和附属收入。因此，发布者正在越来越优化 AI 消费，同时开展传统人类发现的同时，探索新的变现路径。
供需之间的匹配仍然很困难，尽管人们意识到并非所有内容都具有相同的价值，但内容的定价仍然没有解决。
### 谷歌的融合问题
关于这个市场的讨论不可能不提到谷歌的独特角色。谷歌仍然是在线发现的主要网关，约占推荐流量的88%。但越来越多地，谷歌正在帮助用户直接在谷歌拥有的 AI 体验中消费内容。
发现与消费服务从根本上有着不同的目的。搜索驱动用户访问内容，而 AI 驱动的体验则越来越多地汇总和重用内容，而无需用户访问源站。网站所有者对此有不同的看法，因为前者带来流量，而后者却越来越多地取代了流量。
这些差异在网站所有者决定谁应获得访问其内容的权限以及目的时尤为重要。大多数领先的 AI 公司将发现爬虫与训练爬虫分开，使发布者能够相对简单地为某一目的或另一目的启用内容访问。但谷歌并没有这样做。今天，谷歌访问的信息量大约是领先 AI 公司的两倍，因为谷歌利用了混合用途的爬虫，使客户难以参与谷歌的搜索生态系统，而不参与谷歌的 AI 生态系统。
与其他 AI 提供商不同，谷歌的混合用途爬虫也限制了网站所有者的透明度。由于发现和 AI 访问合并为单一爬虫，发布者无法分辨谷歌访问内容的原因，也无法区分用于搜索的流量和用于 AI 体验的流量。他们还失去了在网络层面上独立允许或阻止这些活动的可见性和证据。
这种动态加速了对提高透明度和控制权的需求，以及新型变现模式的需求，以更好地为内容拥有者和各种规模的 AI 公司服务。
## 第三部分：对生态系统的独特视角
Cloudflare 位于新兴代理经济的交汇点。
超过20%的网络在 Cloudflare 的网络后面。世界上访问量最多的网站中，有36%依赖于我们的网络，超过40%的财富500强企业是 Cloudflare 的客户。近80%的领先 AI 公司使用 Cloudflare，还有数千名开发者和新兴 AI 公司。
这一独特的位置让我们能够看到市场的两个方面。我们看到内容创造者创作内容、AI 公司消费内容，以及日益增强的连接信号。这一视角让我们独特地了解过去一年市场如何演变以及现在的需求。
## 第四部分：新兴市场的经验教训
随着发布者和 AI 公司适应新的代理经济，Cloudflare 对生态系统现有需求的理解逐渐清晰。
### 透明度必须成为标准
内容拥有者越来越需要了解谁访问他们的内容、如何使用以及出于什么目的。AI 公司越来越意识到，透明度能够建立信任，减少与发布者之间的摩擦。可见性和执行不再只是安全问题，它们已经成为直接影响许可谈判和商业决策的业务要求。
为了帮助使透明度成为标准，Cloudflare 继续投资于增强的归因、测量和发布者控制，赋予内容拥有者更多的可见性和控制权，了解他们的内容如何被访问和使用。
随着行业向更高的透明度转变，我们认为可验证的爬虫自我识别和爬取意图声明是可持续生态系统的基础。目前，超过三分之一的爬虫活动来自混合用途的爬虫，使内容拥有者无法区分爬取意图。我们正积极与生态系统合作并投资于工具，计划在明年这个时候将这一数字降低到零。
### 更好的 AI 需要更好的信号
在过去一年中，AI 公司越来越清楚，他们需要的不仅仅是对内容的访问。他们需要更好的方式来确定什么内容应被访问，何时访问以及多频繁地访问。无差别的抓取浪费了 AI 公司的计算资源，也给发布者带来了不必要的带宽负担，从而降低了整个生态系统的效率。
我们相信，好的答案需要好的智能。我们正在投资于实时新鲜信号，以提高信任、质量和相关性，帮助 AI 公司发现有差异的信息，同时减少不必要的网络抓取。
### 市场需要更好的发现，才能实现更好的定价
我们认为，更好的发现必须先于更好的定价。为了让市场成熟，发布者和 AI 公司需要互相了解更多信息。我们正在投资于丰富市场智能、内容信号以及提高生态系统两边之间发现能力的功能，为更具可扩展的市场机制奠定基础。
## 第五部分：构建代理互联网的基础设施
一年前，内容独立日提出了一个简单的想法：内容拥有者应该对 AI 公司如何访问和使用其信息拥有更大的控制权。
在过去的十二个月里，这种控制帮助催生了一个市场。透明度创造了稀缺性，稀缺性创造了杠杆，杠杆加快了许可。那么曾经关于 AI 和内容未来的理论讨论，如今已成为一个活跃的市场，发布者、AI 公司以及技术提供者都在适应新的经济现实。
市场现在进入了一个新的阶段，需求新的基础设施。随着互联网的日益代理化，支持它的底层系统必须进化，以便在规模上处理权限、许可和商业交易。内容拥有者和 AI 公司需要更高效的链接和交换价值的方法。我们相信，这些能力将汇聚成可编程的、可扩展的内容发现和变现机制，减少摩擦，同时解锁更丰富的价值交换形式。
Cloudflare 的角色是构建基础设施和商业智能，促进标准的制定，以便市场能够更高效地决定价值，帮助发布者和 AI 公司参与一个更健康、更加动态的内容经济。
互联网一直在演变。这种演变速度更快，后果更为重大。但有了合适的基础设施、合适的激励措施和对透明度的承诺，我们相信，代理互联网可以变得更加可持续、更高效，对每个人都更有利。
---
原文链接：[点击查看](https://blog.cloudflare.com/agentic-internet-bot-report/)
我们变更了默认设置。对于所有在 Cloudflare 上的新域名，AI 训练爬虫默认会被阻止，除非域名所有者选择放弃此设置。我们并不是想把互联网封闭起来，而是相信一个更健康的生态系统需要透明度、控制、稀缺性，最终形成一个能够公平交易高质量内容的市场。
一年后，这个市场已经出现。但互联网的转型比我们预期的还要快。在这份报告中，我们分享一些关键数据，来说明互联网商业模式的变化速度，以及这个新内容市场对发布者和站点所有者意味着什么。
## 第一部分：互联网变得更加迅速
### 垂直采纳曲线
AI 不仅仅是另一个技术周期。它是一个平台的转变，其速度超过了智能手机被采纳的两倍。在短短3.5年内，超过30%的人类——25亿活跃用户——已经开始定期使用生成型 AI。这条采纳曲线不仅陡峭，更是直线式上升。
### 开放网络的衰退
人类与信息互动、进行工作和在线消费时间的方式发生了前所未有的快速变化。
今天，每当人们在线搜索信息花费一小时，只有15分钟是在开放网络上度过。传统的搜索行为正在崩溃，用户转向 AI 驱动的信息发现和消费。而他们不再需要访问多个网站获取和比较信息，只需键入一个提示，就能几乎瞬间获取汇总的答案。
### 代理互联网的到来
今年，代理流量首次突破历史性阈值：互联网上超过50%的流量为非人类流量。这一变化对发布者、内容所有者以及开放网络的未来具有巨大影响。
### 爬虫的功能发生改变
在分析 Cloudflare 识别的爬虫流量功能时，结果相当清晰：
- 截至2026年6月，52%的爬虫请求用于 AI 训练，较2025年春季的22%大幅上升。
- 混合用途的爬虫（涉及搜索、代理使用和训练）占活动的36%以上。
- 纯搜索爬虫目前只占整体爬虫活动的一小部分，并且这种占比还在下降，但仍对发布者的可见性至关重要。
随着 AI 训练成为爬虫活动的主要驱动因素，区分发现与训练的能力变得愈发重要。混合用途爬虫模糊了这种区分，让内容所有者面临困难：在代理时代，选择仍然可被发现而付出代价，却又未能获得相应的报酬。
### 旧商业模式的消失
数十年来，开放网络的经济模型十分简单。内容创作者以可见性换取对其内容的访问，从而驱动推荐流量。该流量成为出版商、创作者和企业创造经济价值的主要机制。
但如今，这种交换正在崩溃。内容仍在被抓取、索引和使用，但越来越多地并没有将对应流量返回给源站。随着 AI 系统回答问题、比较产品、进行研究和直接完成任务，开放网络中的信息越来越多地成为 AI 训练和检索系统的一部分。由此提出的生死攸关的问题是：如果内容被使用而观众根本未曾访问源站，内容创作者如何维持生存？
### 行业无一幸免
最早受到影响的行业是新闻组织和媒体公司。如今，类似的动态正在影响到零售、软件、IT和金融等许多企业。在一些爬取最频繁的类别中，人类流量在不到一年内减少了40%。
许多发布者现在正在准备迎接“谷歌零流量”——一个几乎没有流量来自搜索推荐的世界。
这一影响波及几乎所有行业。任何在互联网上发布专有信息的组织都需要了解如何在代理时代运作。这种动态对内容拥有者和我们所有人都至关重要。互联网是全球经济的重要组成部分，也是提供信息的世界最重要的公共资源之一。确保其健康和可持续发展对我们所有人来说至关重要。
## 第二部分：市场的崛起
### 我们构建了什么
当我们推出内容独立日时，我们承诺了三件事：
1. 为站点所有者提供透明度和控制，允许他们定义内容的访问和变现方式。
2. 提供创造稀缺性的工具，将权力重新转回内容拥有者手中。
3. 建立一个市场，使内容创作者和各种规模的 AI 公司能够更高效地发现、许可和确定内容的价值。
一年后，内容的变现市场已经出现，动态市场的条件也在形成。
### 透明度和控制创造稀缺性
历史上，发布者对 AI 公司如何访问和使用其内容的透明度有限。随着推荐流量的减少，这种缺乏透明度变成了一个经济问题，促使发布者寻求新的价值捕捉方式。
Cloudflare 的归因、商业情报和执行工具使发布者能够在网络层面上看到 AI 的使用情况——这一执行机制比像 robots.txt 这样的自愿标准更为有效。对于发布者而言，他们首次能够确定其内容的访问和变现方式。这种控制创造了稀缺性，并推动了供需内容经济的形成。
### 稀缺性创造了杠杆
那些成功行使控制的发布者创造了稀缺性，获得了谈判杠杆，使得交易条件变得更好。发布者首次获得了操作级的归因数据——证据显示 LLM（大型语言模型）试图访问其内容的频率、哪些竞争 LLM 在抓取、最受欢迎的 URL 以及他们的抓取与推荐比例。这减少了许可讨论中的信息不对称，让发布者能够从知识的角度进行谈判。
### 杠杆改变了力量的平衡
这种杠杆赋予了我们的客户更大的权力。随着他们对 AI 系统如何访问和使用其内容的了解加深，他们变得更有能力理解这对其业务的影响，并更有信心地表达他们所拥有的信息、品牌和受众的价值。
随着内容所有者与 AI 公司之间的权力平衡开始改变，许可经济正在出现：
- 自2023年以来，签署了超过50份发布者与 AI 的协议。
- 主要 AI 公司现在积极授权内容，越来越认识到差异化和优质内容的价值。
- 集体许可模型继续出现和扩大。
- 大型发布者正在获得有意义的许可协议，证明在 AI 生态系统中内容具有真实的经济价值。
内容应该得到补偿的讨论不再是<em>是否</em>，而是<em>如何</em>的问题。
### 市场正在成熟，但仍存在低效
早期许可协议证明了市场需求的存在，但今天的许可仍然主要是定制的，且不太可能完全取代丧失的推荐、广告和附属收入。因此，发布者正在越来越优化 AI 消费，同时开展传统人类发现的同时，探索新的变现路径。
供需之间的匹配仍然很困难，尽管人们意识到并非所有内容都具有相同的价值，但内容的定价仍然没有解决。
### 谷歌的融合问题
关于这个市场的讨论不可能不提到谷歌的独特角色。谷歌仍然是在线发现的主要网关，约占推荐流量的88%。但越来越多地，谷歌正在帮助用户直接在谷歌拥有的 AI 体验中消费内容。
发现与消费服务从根本上有着不同的目的。搜索驱动用户访问内容，而 AI 驱动的体验则越来越多地汇总和重用内容，而无需用户访问源站。网站所有者对此有不同的看法，因为前者带来流量，而后者却越来越多地取代了流量。
这些差异在网站所有者决定谁应获得访问其内容的权限以及目的时尤为重要。大多数领先的 AI 公司将发现爬虫与训练爬虫分开，使发布者能够相对简单地为某一目的或另一目的启用内容访问。但谷歌并没有这样做。今天，谷歌访问的信息量大约是领先 AI 公司的两倍，因为谷歌利用了混合用途的爬虫，使客户难以参与谷歌的搜索生态系统，而不参与谷歌的 AI 生态系统。
与其他 AI 提供商不同，谷歌的混合用途爬虫也限制了网站所有者的透明度。由于发现和 AI 访问合并为单一爬虫，发布者无法分辨谷歌访问内容的原因，也无法区分用于搜索的流量和用于 AI 体验的流量。他们还失去了在网络层面上独立允许或阻止这些活动的可见性和证据。
这种动态加速了对提高透明度和控制权的需求，以及新型变现模式的需求，以更好地为内容拥有者和各种规模的 AI 公司服务。
## 第三部分：对生态系统的独特视角
Cloudflare 位于新兴代理经济的交汇点。
超过20%的网络在 Cloudflare 的网络后面。世界上访问量最多的网站中，有36%依赖于我们的网络，超过40%的财富500强企业是 Cloudflare 的客户。近80%的领先 AI 公司使用 Cloudflare，还有数千名开发者和新兴 AI 公司。
这一独特的位置让我们能够看到市场的两个方面。我们看到内容创造者创作内容、AI 公司消费内容，以及日益增强的连接信号。这一视角让我们独特地了解过去一年市场如何演变以及现在的需求。
## 第四部分：新兴市场的经验教训
随着发布者和 AI 公司适应新的代理经济，Cloudflare 对生态系统现有需求的理解逐渐清晰。
### 透明度必须成为标准
内容拥有者越来越需要了解谁访问他们的内容、如何使用以及出于什么目的。AI 公司越来越意识到，透明度能够建立信任，减少与发布者之间的摩擦。可见性和执行不再只是安全问题，它们已经成为直接影响许可谈判和商业决策的业务要求。
为了帮助使透明度成为标准，Cloudflare 继续投资于增强的归因、测量和发布者控制，赋予内容拥有者更多的可见性和控制权，了解他们的内容如何被访问和使用。
随着行业向更高的透明度转变，我们认为可验证的爬虫自我识别和爬取意图声明是可持续生态系统的基础。目前，超过三分之一的爬虫活动来自混合用途的爬虫，使内容拥有者无法区分爬取意图。我们正积极与生态系统合作并投资于工具，计划在明年这个时候将这一数字降低到零。
### 更好的 AI 需要更好的信号
在过去一年中，AI 公司越来越清楚，他们需要的不仅仅是对内容的访问。他们需要更好的方式来确定什么内容应被访问，何时访问以及多频繁地访问。无差别的抓取浪费了 AI 公司的计算资源，也给发布者带来了不必要的带宽负担，从而降低了整个生态系统的效率。
我们相信，好的答案需要好的智能。我们正在投资于实时新鲜信号，以提高信任、质量和相关性，帮助 AI 公司发现有差异的信息，同时减少不必要的网络抓取。
### 市场需要更好的发现，才能实现更好的定价
我们认为，更好的发现必须先于更好的定价。为了让市场成熟，发布者和 AI 公司需要互相了解更多信息。我们正在投资于丰富市场智能、内容信号以及提高生态系统两边之间发现能力的功能，为更具可扩展的市场机制奠定基础。
## 第五部分：构建代理互联网的基础设施
一年前，内容独立日提出了一个简单的想法：内容拥有者应该对 AI 公司如何访问和使用其信息拥有更大的控制权。
在过去的十二个月里，这种控制帮助催生了一个市场。透明度创造了稀缺性，稀缺性创造了杠杆，杠杆加快了许可。那么曾经关于 AI 和内容未来的理论讨论，如今已成为一个活跃的市场，发布者、AI 公司以及技术提供者都在适应新的经济现实。
市场现在进入了一个新的阶段，需求新的基础设施。随着互联网的日益代理化，支持它的底层系统必须进化，以便在规模上处理权限、许可和商业交易。内容拥有者和 AI 公司需要更高效的链接和交换价值的方法。我们相信，这些能力将汇聚成可编程的、可扩展的内容发现和变现机制，减少摩擦，同时解锁更丰富的价值交换形式。
Cloudflare 的角色是构建基础设施和商业智能，促进标准的制定，以便市场能够更高效地决定价值，帮助发布者和 AI 公司参与一个更健康、更加动态的内容经济。
互联网一直在演变。这种演变速度更快，后果更为重大。但有了合适的基础设施、合适的激励措施和对透明度的承诺，我们相信，代理互联网可以变得更加可持续、更高效，对每个人都更有利。
---
原文链接：[点击查看](https://blog.cloudflare.com/agentic-internet-bot-report/)
评论
暂无评论。