赋能网站主：Attribution Business Insights 登场
原创内容是对话和好奇心的生命线。如果没有它，尽管我们可以找到无数种方式重复已经存在的材料，然而新想法和争论将会大幅减少。
网站所有者为构建思想、新闻和趣闻的生态系统提供了动力，但他们面临着管理网站流量和获得内容报酬的日益复杂挑战。一些机器人流量显然是恶意的，但并非每个 AI 爬虫都显而易见是帮助还是伤害你的业务。为了应对这些挑战，网站所有者需要详尽可靠的数据，以区分出有价值的流量与那些消耗资源并侵蚀商业模式基础——真正人类消费者的流量。
在 Cloudflare，我们坚信网站所有者有权利[控制内容的访问](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)。我们希望帮助网站所有者维护高质量内容并合理管理 AI 流量。
为了提供必要的清晰性，帮助网站所有者掌控局面，我们激动地宣布全新的[Attribution Business Insights](https://developers.cloudflare.com/bots/attribution-business-insights/)仪表板——它旨在为业务决策者和出版商提供服务。
### 互联网的新经济学
多年来，互联网的商业模式依赖于一种简单而默契的协议：网站所有者允许搜索引擎抓取他们的内容，作为交换，搜索引擎则将读者引回他们的页面。这种共生关系，传统搜索引擎以平衡的“爬取到推荐”比例运作，从而生成了持续广告、联盟收入和订阅所需的页面浏览量。搜索索引爬虫会几次扫描你的内容[以发送每个推荐的访问者](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/)，因此让爬虫访问你的网站有明确的额外收入渠道。这被称为 SEO（搜索引擎优化）时代。
今天，AI 爬虫和代理的激增打破了这一协议，使数字出版业面临前所未有的危机。互联网正在面临转向“零点击”生态系统的风险，AI 聊天机器人抓取原创内容以合成即时答案——完全绕过原始来源。我们已经看到从仅依靠 SEO 的世界转向 AEO（答案引擎优化）的显著变化，而现在 GEO（生成引擎优化）的讨论也正在成为焦点。
这种新现实的不平衡，通过我们看到的互联网爬取到推荐比率变得更加明显。传统搜索引擎的爬取与合法访问者推荐的比例更为平衡，而主要 AI 爬虫却以极具提取性的规模运作。来自领先 AI 公司的机器人已被观察到具有不同范围的爬取到推荐比率：我们注意到比率高达 118:1，甚至接近 50,000:1，这发生在[我们的内容独立日 2025](https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/)时。换句话说，一个 AI 爬虫可能为了发送一个访客而爬取你的优质内容达到数万次。这一比例本质上是不公平的。
对出版商来说，这带来了双重打击：首先，他们失去了资金内容创建和新闻报告所需的宝贵推荐流量、广告展示和直接受众关系；其次，他们还要承担越来越高的基础设施成本，来承载和服务没有商业价值的自动机器人内容。允许[所有](https://blog.cloudflare.com/)爬虫以便可能被发现的时代已经结束。
### 宣布 Attribution Business Insights
我们希望网站所有者获得实事求是的信息——冷静而可靠的数据，以了解哪些机器人在帮助他们的业务，哪些在伤害它。同时，我们也希望这项分析变得比以往更加简单，这就是为什么我们设计了 Attribution Business Insights，去除噪音，专注于用户最重视的细节。
今天，所有 Cloudflare Bot Management 客户均可使用[Attribution Business Insights 仪表板](https://dash.cloudflare.com/?to=/:account/:zone/analytics/attribution-business-insights)。这个新仪表板旨在提供一个针对性视图，展现流向您网站的机器人流量；与需要大量手动过滤的传统分析工具不同，该仪表板能立即为您提供关键信息。
我们设计的目的是回答网站所有者今天最迫切的问题： **您应该如何看待网站上的 AI 流量？** 不同受众（包括人类、非 AI 机器人和 AI 机器人）的价值是什么？最重要的是，您的数据会如何被使用？
*新 Attribution Business Insights 仪表板视图，包含有关整体机器人流量、站点爬取到推荐比例的见解，以及 AI 机器人流量与自然流量的分布。*
为了回答这些问题，仪表板展示了一系列强大的数据和见解：
- **内容页面的机器人流量：** 查看您的整体机器人与人类流量，以及成功访问内容的所有机器人的数量。
- **爬取到推荐比率：** 查看您整个网站在24小时、7天或30天内的爬取到推荐比率。同时可以看到每个机器人运营商的爬取到推荐比率（拥有多个机器人的公司）。
- **顶级机器人情况：** 按量列出顶级机器人，包括它们的来源国、在您网站上占用的带宽，以及您是否当前在屏蔽或允许它们。
- **基于爬虫行为的更新分类：** 我们超越“一般性 AI 爬虫”标签，通过我们更新的分类法对爬虫进行分类，无论是 *训练*（即训练下一个版本的 LLM 聊天机器人），*搜索*（即刷新数据库以获取[检索增强生成](https://www.cloudflare.com/learning/ai/retrieval-augmented-generation-rag/)），还是 *代理*（即用于[代理交互以返回用户答案](https://www.cloudflare.com/learning/ai/inference-vs-training/)）。
### 从数据到商业策略
您不需要成为安全专家，就能理解 AI 爬虫如何影响您的业务。如果网站所有者希望花费几分钟来获取高层次的见解，他们就可以清楚了解内容安全政策的有效性。
对于那些想更深入了解 AI 公司如何使用他们内容的用户，我们提供了按照机器人运营商组织的更详细视图。
*网站上机器人活动的分解，包括每个机器人的重要细节，例如类型、爬取到推荐比率和当前动作。*
通过对寻求访问您网站内容的公司进行综合视图，您可以开发出更好的爬虫行为基线。我们希望这些数据可以帮助客户在任何商业对话中都能手握事实。告诉 Company1 他们的爬取量是 Company4 的二十倍，而 Company4 已经在为内容支付。重新审视 Company2 如何根据它们最近的活动来为您的内容授权。这一新仪表板推动商业对话向前发展。
这层新的可见性如何与您现有的以保护您的网站免受滥用的工具相结合呢？遵循[机器人管理](https://developers.cloudflare.com/bots/get-started/bot-management/)的其他功能，*采取行动*步骤仍然在安全规则中进行。为了避免给控制平面增加噪音，Attribution Business Insights 旨在成为一个思想性、过滤过的分析中心，而不是又一个行动平台。该仪表板作为信息的中央源，允许您在采取其他滥用减轻措施相关规则中的行动之前进行调查。我们还希望清楚表达欢迎业务决策者进入该仪表板，因为围绕 AI 流量的对话需要比安全专业用户更广泛的利益相关者。
### 下一步
Attribution Business Insights 仪表板是为网站所有者提供透明度和控制的下一关键步骤，以应对不断演变的 AI 机器人威胁，从更广泛的角度塑造互联网的新动态。我们已经在与紧密的出版合作伙伴调查下一步，以创建一个可见性层面，从网站所有者的视角覆盖安全问题，并分享有价值的原创内容。
以下是即将推出的一项新视图，可以深入剖析每篇文章的爬虫活动，揭示 AI 公司对不同内容、不同活动的需求。
*根据流量量最受欢迎文章的分解。显示关键指标，例如 AI 机器人流量与其他机器人流量和人类流量之间的关系，直接的和推荐的流量。*
可见性是第一步，未来将有更多工具来赋能网站所有者掌控他们内容的权利。在此，我们鼓励所有[Cloudflare 机器人管理](https://www.cloudflare.com/application-services/products/bot-management/)的客户，尤其是那些正在推动商业对话的客户，今天就访问这个新的仪表板，获得关于分析的新视角。
---
原文链接：[点击查看](https://blog.cloudflare.com/attribution-business-insights/)
网站所有者为构建思想、新闻和趣闻的生态系统提供了动力，但他们面临着管理网站流量和获得内容报酬的日益复杂挑战。一些机器人流量显然是恶意的，但并非每个 AI 爬虫都显而易见是帮助还是伤害你的业务。为了应对这些挑战，网站所有者需要详尽可靠的数据，以区分出有价值的流量与那些消耗资源并侵蚀商业模式基础——真正人类消费者的流量。
在 Cloudflare，我们坚信网站所有者有权利[控制内容的访问](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)。我们希望帮助网站所有者维护高质量内容并合理管理 AI 流量。
为了提供必要的清晰性，帮助网站所有者掌控局面，我们激动地宣布全新的[Attribution Business Insights](https://developers.cloudflare.com/bots/attribution-business-insights/)仪表板——它旨在为业务决策者和出版商提供服务。
### 互联网的新经济学
多年来，互联网的商业模式依赖于一种简单而默契的协议：网站所有者允许搜索引擎抓取他们的内容，作为交换，搜索引擎则将读者引回他们的页面。这种共生关系，传统搜索引擎以平衡的“爬取到推荐”比例运作，从而生成了持续广告、联盟收入和订阅所需的页面浏览量。搜索索引爬虫会几次扫描你的内容[以发送每个推荐的访问者](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/)，因此让爬虫访问你的网站有明确的额外收入渠道。这被称为 SEO（搜索引擎优化）时代。
今天，AI 爬虫和代理的激增打破了这一协议，使数字出版业面临前所未有的危机。互联网正在面临转向“零点击”生态系统的风险，AI 聊天机器人抓取原创内容以合成即时答案——完全绕过原始来源。我们已经看到从仅依靠 SEO 的世界转向 AEO（答案引擎优化）的显著变化，而现在 GEO（生成引擎优化）的讨论也正在成为焦点。
这种新现实的不平衡，通过我们看到的互联网爬取到推荐比率变得更加明显。传统搜索引擎的爬取与合法访问者推荐的比例更为平衡，而主要 AI 爬虫却以极具提取性的规模运作。来自领先 AI 公司的机器人已被观察到具有不同范围的爬取到推荐比率：我们注意到比率高达 118:1，甚至接近 50,000:1，这发生在[我们的内容独立日 2025](https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/)时。换句话说，一个 AI 爬虫可能为了发送一个访客而爬取你的优质内容达到数万次。这一比例本质上是不公平的。
对出版商来说，这带来了双重打击：首先，他们失去了资金内容创建和新闻报告所需的宝贵推荐流量、广告展示和直接受众关系；其次，他们还要承担越来越高的基础设施成本，来承载和服务没有商业价值的自动机器人内容。允许[所有](https://blog.cloudflare.com/)爬虫以便可能被发现的时代已经结束。
### 宣布 Attribution Business Insights
我们希望网站所有者获得实事求是的信息——冷静而可靠的数据，以了解哪些机器人在帮助他们的业务，哪些在伤害它。同时，我们也希望这项分析变得比以往更加简单，这就是为什么我们设计了 Attribution Business Insights，去除噪音，专注于用户最重视的细节。
今天，所有 Cloudflare Bot Management 客户均可使用[Attribution Business Insights 仪表板](https://dash.cloudflare.com/?to=/:account/:zone/analytics/attribution-business-insights)。这个新仪表板旨在提供一个针对性视图，展现流向您网站的机器人流量；与需要大量手动过滤的传统分析工具不同，该仪表板能立即为您提供关键信息。
我们设计的目的是回答网站所有者今天最迫切的问题： **您应该如何看待网站上的 AI 流量？** 不同受众（包括人类、非 AI 机器人和 AI 机器人）的价值是什么？最重要的是，您的数据会如何被使用？
*新 Attribution Business Insights 仪表板视图，包含有关整体机器人流量、站点爬取到推荐比例的见解，以及 AI 机器人流量与自然流量的分布。*
为了回答这些问题，仪表板展示了一系列强大的数据和见解：
- **内容页面的机器人流量：** 查看您的整体机器人与人类流量，以及成功访问内容的所有机器人的数量。
- **爬取到推荐比率：** 查看您整个网站在24小时、7天或30天内的爬取到推荐比率。同时可以看到每个机器人运营商的爬取到推荐比率（拥有多个机器人的公司）。
- **顶级机器人情况：** 按量列出顶级机器人，包括它们的来源国、在您网站上占用的带宽，以及您是否当前在屏蔽或允许它们。
- **基于爬虫行为的更新分类：** 我们超越“一般性 AI 爬虫”标签，通过我们更新的分类法对爬虫进行分类，无论是 *训练*（即训练下一个版本的 LLM 聊天机器人），*搜索*（即刷新数据库以获取[检索增强生成](https://www.cloudflare.com/learning/ai/retrieval-augmented-generation-rag/)），还是 *代理*（即用于[代理交互以返回用户答案](https://www.cloudflare.com/learning/ai/inference-vs-training/)）。
### 从数据到商业策略
您不需要成为安全专家，就能理解 AI 爬虫如何影响您的业务。如果网站所有者希望花费几分钟来获取高层次的见解，他们就可以清楚了解内容安全政策的有效性。
对于那些想更深入了解 AI 公司如何使用他们内容的用户，我们提供了按照机器人运营商组织的更详细视图。
*网站上机器人活动的分解，包括每个机器人的重要细节，例如类型、爬取到推荐比率和当前动作。*
通过对寻求访问您网站内容的公司进行综合视图，您可以开发出更好的爬虫行为基线。我们希望这些数据可以帮助客户在任何商业对话中都能手握事实。告诉 Company1 他们的爬取量是 Company4 的二十倍，而 Company4 已经在为内容支付。重新审视 Company2 如何根据它们最近的活动来为您的内容授权。这一新仪表板推动商业对话向前发展。
这层新的可见性如何与您现有的以保护您的网站免受滥用的工具相结合呢？遵循[机器人管理](https://developers.cloudflare.com/bots/get-started/bot-management/)的其他功能，*采取行动*步骤仍然在安全规则中进行。为了避免给控制平面增加噪音，Attribution Business Insights 旨在成为一个思想性、过滤过的分析中心，而不是又一个行动平台。该仪表板作为信息的中央源，允许您在采取其他滥用减轻措施相关规则中的行动之前进行调查。我们还希望清楚表达欢迎业务决策者进入该仪表板，因为围绕 AI 流量的对话需要比安全专业用户更广泛的利益相关者。
### 下一步
Attribution Business Insights 仪表板是为网站所有者提供透明度和控制的下一关键步骤，以应对不断演变的 AI 机器人威胁，从更广泛的角度塑造互联网的新动态。我们已经在与紧密的出版合作伙伴调查下一步，以创建一个可见性层面，从网站所有者的视角覆盖安全问题，并分享有价值的原创内容。
以下是即将推出的一项新视图，可以深入剖析每篇文章的爬虫活动，揭示 AI 公司对不同内容、不同活动的需求。
*根据流量量最受欢迎文章的分解。显示关键指标，例如 AI 机器人流量与其他机器人流量和人类流量之间的关系，直接的和推荐的流量。*
可见性是第一步，未来将有更多工具来赋能网站所有者掌控他们内容的权利。在此，我们鼓励所有[Cloudflare 机器人管理](https://www.cloudflare.com/application-services/products/bot-management/)的客户，尤其是那些正在推动商业对话的客户，今天就访问这个新的仪表板，获得关于分析的新视角。
---
原文链接：[点击查看](https://blog.cloudflare.com/attribution-business-insights/)
评论
暂无评论。