晓名 AI
在 AI 爬虫的生态中，GPTBot 是最广为人知但也最容易被误解的程序之一。作为 OpenAI 的训练爬虫，它的角色相对单一——只收集可能用于训练未来模型的内容，不参与任何实时应答。这种单一用途，使得围绕它的争议主要集中在「是否应该让内容进入训练数据」这一层面，而非「是否会立即影响内容可见度」。
GPTBot 是 OpenAI 的训练爬虫，只收集可能用于训练未来模型的内容，不参与任何实时应答。它与 ChatGPT 搜索无关，屏蔽后也不会减少引用。屏蔽它也许会错过某种收益，但这种收益无法测量；即使确实存在，也要很久才会显现。决定是否屏蔽时，真正需要权衡的只有这一点。
关键洞察：GPTBot 最常被列为屏蔽对象，是因为它在 2023 年 8 月上线时率先公开专用令牌。此后，几乎每一份「屏蔽 AI」教程都会提到 GPTBot，其中相当一部分选错了对象——将训练爬虫误认为影响 ChatGPT 引用的检索爬虫。
GPTBot 的核心特征
理解 GPTBot 的关键在于把握以下几个核心特征：
- 单一用途：只用于训练，不参与任何实时应答。这与 OAI-SearchBot（检索）和 ChatGPT-User（用户触发）形成功能上的明确区分。
- 滞后影响：即使内容进入模型训练，其影响也不会立即可见。模型权重的变化通常在数月后才会在输出中显现，且无法追溯到具体来源。
- 不可测量：目前没有任何已发表的研究能够证明，放行 GPTBot 会增加内容在 ChatGPT 中的引用或提及。这是制定策略时最重要的不确定性来源。
- 可退出：GPTBot 是主流训练爬虫中最早支持 robots.txt 退出的程序，站点可以通过设置
Disallow: /明确拒绝内容被用于训练。
在日志里辨认 GPTBot
OpenAI 公布的用户代理字符串：
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot规则只匹配 GPTBot 这个名字，不要带版本号。OpenAI 将这条字符串标为示例，并说明版本号可能变化。版本号也确实变过：GPTBot/1.2 早已过时，却仍被大量博客和规则模板沿用。规则一旦写死版本号，版本更新后就会失效。
文档里还有一个容易忽略的细节，可以帮助确认策略调整是否生效。OpenAI 写道：「抓取 robots.txt 文件时，我们可能会在用户代理字符串中加入一个 robots.txt 标记，帮助站点所有者把这类请求与其他资源的请求区分开。」由于具体文本没有公布，这个标记只能作为观察线索，不能直接用于字符串匹配。如果日志中出现 /robots.txt 请求，来源又是已确认的 GPTBot 地址，就能确认新指令已经被读取。
OpenAI 公布了 GPTBot 使用的地址段，可以直接查阅核实。下表数据取自 OpenAI 的公开端点，获取时间为 2026 年 7 月 28 日；各网段的重叠情况已经逐一比对：
| 令牌 | 公布的 IP 文件 | 网段数 | 文件生成时间 | 重叠情况 |
|---|---|---|---|---|
| GPTBot | gptbot.json | 21 | 2025-10-30 | 与 OAI-SearchBot 共用 6 段 |
| OAI-SearchBot | searchbot.json | 35 | 2026-01-02 | 与 GPTBot 共用 6 段 |
| ChatGPT-User | chatgpt-user.json | 286 | 2026-07-23 | 与两者均无重叠 |
从表中可以确认两点。GPTBot 公布的地址段不多，其中 6 个网段与搜索爬虫共用，与用户触发的取页程序没有任何重叠。GPTBot 地址文件的更新频率也较低：截至该日期，它已有大约九个月没有重新生成，ChatGPT-User 的文件则在五天前刚刚生成。这只能说明文件更新频率不同，不能用来推断抓取量。
OpenAI 文档解释了这种重叠：「如果你的站点同时放行了这两个程序，我们可能只用一次抓取的结果来同时服务两个用途，以避免重复抓取。」地址数据印证了这项说明，但公开证据也只到这里。它们不能说明屏蔽 GPTBot 会增加 OAI-SearchBot 的请求量，也不能证明同时放行两者就能减轻服务器负担；这两种说法都没有公开依据。
关键洞察：核验时既要检查 IP，也要按 AI 爬虫 中的方法完成前向确认反向解析（forward-confirmed reverse DNS）。日志里只有
GPTBot这串字符，还不足以证明对方身份。正因为 GPTBot 最知名，它也成了同类程序中被冒用最多的令牌。需要用 grep 检查日志中的哪些字段，以及如何确认真正到达服务器的程序，见 AI 爬虫访问审计。
robots.txt 退出机制及其局限
OpenAI 文档明确说明 GPTBot 会遵守 robots.txt。开头就写道：「OpenAI 使用 OAI-SearchBot 和 GPTBot 的 robots.txt 标签，让站长管理自己的站点和内容如何与 AI 交互。」文档还直接说明了 Disallow 的效果：「对 GPTBot 设置 Disallow，表示该站点的内容不应被用于训练生成式 AI 基础模型。」
ChatGPT-User 的规则因「用户发起」的例外而复杂得多；GPTBot 按计划抓取，不受这项例外影响。
最小指令：
User-agent: GPTBot
Disallow: /也可以按路径设置，排除一个目录同时保留其中一部分公开内容：
User-agent: GPTBot
Disallow: /members/
Allow: /members/public-report/在这个例子中，更长、更具体的 Allow 优先生效。分组合并、路径优先级、是否区分大小写和 host 适用范围都遵循 robots.txt 的通用规则。究竟会放行或屏蔽哪些路径，要靠实测确认，不能只凭经验判断。
规则不会立即生效。OpenAI 提到的约 24 小时，适用范围比通常转述的更窄。原话是：「就搜索结果而言，请注意从站点更新 robots.txt 到我们的系统作出调整，可能需要约 24 小时。」这里明确说的是搜索结果。OpenAI 没有公布训练抓取多久会响应新指令，因此现有文档无法确定 GPTBot 规则的生效时间。
robots.txt 在这里有三处局限：
- 不能追溯：Disallow 只对之后的抓取生效，无法移除已经用于模型训练的内容，OpenAI 也没有公布任何能做到这一点的机制（见下文）。
- 不是强制手段：RFC 9309 写明其规则「并不构成一种访问授权」，协议本身也「不能替代有效的内容安全措施」。真正要阻止内容被读取，需要使用访问控制，不能只靠一份文本文件。
- 无法控制第三方语料：对 GPTBot 设置 Disallow，只能约束 OpenAI 自己的爬虫。如果内容已经进入第三方网络语料库，模型开发方仍可取用。GPTBot 的规则无法约束这部分内容，也无法约束其他机构运营的爬虫。
至于 llms.txt，没有任何文档说明它能用来表达训练授权，发布一份也不会改变 GPTBot 的行为。
屏蔽 GPTBot 会发生什么，不会发生什么
屏蔽 GPTBot 不会让你从 ChatGPT 中消失。实时答案依靠 OAI-SearchBot 和 ChatGPT-User：前者建立搜索索引，后者在用户的问题涉及该页面时实时取页。这两项任务都与 GPTBot 无关。站点完全可以屏蔽 GPTBot，同时继续在 ChatGPT 中被引用。
另一种错误很少被提及，损失却更直接：有人为了「不让 AI 拿走我的内容」而对 OAI-SearchBot 设置 Disallow。这样既会立即失去被引用的机会，又没有阻止训练抓取，因为训练由另一个令牌控制。
| 做法背后的想法 | 实际结果 |
|---|---|
| 屏蔽 GPTBot 以退出 ChatGPT | 对 ChatGPT 搜索和实时答案毫无影响，这两项功能分别由 OAI-SearchBot 和 ChatGPT-User 负责 |
| 屏蔽 GPTBot 以撤回过去的训练 | 只对之后的抓取生效，此前已经用于模型训练的内容不受影响 |
对所有 AI 程序一律 Disallow: / |
阻止训练的同时也阻止了引用；屏蔽这两类爬虫造成的后果完全不同 |
| 放行 GPTBot，期待带来更多引用 | 没有任何已发表证据支持引用会因此增加（见下文） |
| 把 Disallow 当作权利声明 | 它只是一份由对方自愿遵守的请求，既不是法律文书，本身也没有强制力 |
区分训练与检索，也关系到如何处理 Anthropic 的训练爬虫 ClaudeBot。Google-Extended 能实现相近的训练控制效果，但方式完全不同：它只是一个控制令牌，背后既没有爬虫，也没有自己的用户代理字符串。PerplexityBot 则属于检索类爬虫，需要做的是另一类决策。
放行它对 GEO 有回报吗
前面提到的检索爬虫会在答案里留下可观察的引用结果，GPTBot 却不会。这是理解 GPTBot 价值的核心。
人们经常把两种机制混在一起。分清两者，多数争议也就清楚了：
| 机制 | 产生的结果 | 相关程序 | 能否测量 |
|---|---|---|---|
| 检索采信（retrieval grounding） | 实时答案中一次带出处的引用 | OAI-SearchBot、ChatGPT-User | 能，可以逐条追踪 |
| 参数化记忆（parametric recall） | 模型形成对相关实体的先验印象，不带任何出处 | GPTBot，以及其他语料来源 | 不能，无法归因 |
参数化记忆确实存在。模型在训练中接触的内容可能影响它对某个实体的判断。这与不带链接的品牌提及效果相似：即使没有链接，也可能帮助模型识别相关实体。
模型可能受训练内容影响，但这不等于放行 GPTBot 的效果已经得到验证。问题不只是尚未有人研究，现有研究方法本身也有根本限制。知识归因研究的结论很明确：语言模型「往往并不知道这些知识的来源」。只有让模型在训练时记录知识来源，之后才能把输出追溯到提供相关知识的文档；训练完成后再分析无法做到这一点（见 Khalifa 等，2024）。要证明放行 GPTBot 能带来回报，恰好需要这种归因能力，而常规训练的模型并不具备。
关键洞察：现有证据能支持的结论是：没有任何已发表研究以「站点是否放行 GPTBot」为唯一变量，并据此证明放行能增加引用或提及。现有方法也无法进行这类对照：你无法为一次训练安排 A/B 测试，无法观察自己的内容如何影响模型权重，也无法把一次无来源的提及追溯到某一次抓取。
收益无法测量，并不表示直接屏蔽更划算。放行 GPTBot 的代价往往很分散：占用一些带宽，也可能让站点失去一次授权谈判机会。但站点因担忧而仓促决定时，往往会扩大屏蔽范围，一次改动中常常也会屏蔽检索爬虫，后果具体而且立即可见。因此，多数错误操作造成的实际损失来自检索爬虫被连带屏蔽，而不是 GPTBot 本身。
很多出版方屏蔽 GPTBot，并不是出于 GEO 考量，而是在权衡内容授权的谈判筹码、版权政策、法律立场和基础设施成本。这些理由都有充分依据，很多时候也更有分量，不能用可见性标准来衡量。只看可见性，能下的结论要窄得多：不应根据预期的引用收益来做这个决定。不能指望放行会增加引用，也不必担心屏蔽会减少引用，因为这种收益从未得到证实。可以实际评估的可见性问题都在检索环节，见生成式引擎优化。
围绕这个爬虫出现的补充机制
GPTBot 一直处在「出版方是否应该获得报酬」这场讨论的中心。是否放行，也需要结合这层背景来判断。
Media Manager 始终没有上线。2024 年 5 月 7 日，OpenAI 宣布了一个工具，让创作者标明自己的作品，并指定是否将其纳入 AI 训练。当时的目标是在 2025 年前推出该工具（见 TechCrunch）。期限已过，工具仍未出现（见 TechCrunch，2025 年 1 月 1 日）；至今 OpenAI 也没有宣布任何上线消息。因此，截至目前，robots.txt 仍然是唯一真正可用的退出机制。
另一个选择是内容授权谈判。OpenAI 已经与相当数量的出版方签订内容授权协议。这是令牌控制之外的另一种实际可行方式，但绝大多数站点没有足够的规模参与谈判。对协议之外的站点来说，上文所列指令仍是目前唯一可用的工具。
网络层控制也在迅速变化。robots.txt 只能提出请求，Cloudflare 的默认设置则可以直接拦截访问。一项新规则将于 2026 年 9 月 15 日生效：「在展示广告的页面上，训练类和 agent 类将默认屏蔽，搜索类仍然默认放行」（见 Cloudflare）。GPTBot 是单一用途的训练爬虫，按这套分类会被默认屏蔽，没有多用途爬虫那样的分类争议。这项默认设置适用于新接入的域名，已有客户可以在此之前设定自己的偏好。Cloudflare 还提供托管的 robots.txt，代站点写入 AI 训练相关指令（见 Cloudflare，2025 年 7 月 1 日）。
整体趋势已经很清楚：对 GPTBot 的控制正从一份自愿遵守的文本文件，逐渐转向网络层拦截和合同安排。
站点屏蔽比例与 GPTBot 抓取量
解读这里的任何比例，都要先看分母。GPTBot 的统计数据在这个领域被大量引用，也经常遭到误读。如果一组数据只统计精选的主流新闻站点，另一组广泛抽样普通域名，那么对同一个爬虫得出的数字可以相差数倍；只要按各自的样本口径理解，两组数字都成立。
| 来源与时间 | 样本口径 | 统计结果 |
|---|---|---|
| Reuters Institute，2023 年底 | 10 个国家，每个国家 15 家最常用新闻站点 | 48% 屏蔽了 OpenAI 的爬虫；美国为 79%，墨西哥和波兰均为 20% |
| Cloudflare，2025 年 7 月 1 日 | 头部域名中现有的 robots.txt 文件 | 7.8% 对 GPTBot 设置了 Disallow |
两者并不矛盾，因为回答的是不同问题。Cloudflare 的另一项数据可以解释这种差异：头部一万个域名中，只有约 37% 有 robots.txt 文件。网络上的大多数站点根本没有就此表态。因此，看到「X% 的网站屏蔽了 GPTBot」这类说法时，如果没有说明分母，这个数字就没有意义。
不同来源都显示出同一趋势：从 GPTBot 2023 年 8 月上线到 2025 年，屏蔽比例大幅上升，但这种上升主要见于大型出版方，并未普遍出现在各类站点中。
再看抓取量，最好采用口径清晰的数据。整个 2025 年，在 Cloudflare 网络上，GPTBot 约占已核验爬虫流量的 7.5%，而 Googlebot 超过 28%（见 Cloudflare Radar 2025 年度回顾）。按用途看，训练类抓取始终占比最高：在 2025 年 7 月的一个观测窗口中，训练接近 AI 爬虫抓取量的 80%（见 Cloudflare）。同期，用户触发类抓取虽然起点很低，也增长了二十倍以上。
关键洞察：使用这些数据时要注意两点。第一，2025 年的数据只代表当时的情况：2026 年各家程序的月度排名多次变化，其他厂商的爬虫也曾在不同月份领先。因此，「GPTBot 是最大的 AI 爬虫」不符合当前数据；即使在上文引用的 Cloudflare 网络数据中，它也从来不是最大的。第二，第三方追踪机构给出的单个程序月度排名需要谨慎对待：各家数据彼此不一致，样本口径不公开；即使相应月份已经过去很久，这些数字仍常被反复引用。
如何选择策略
| 想达到的目的 | 配置方式 | 代价 |
|---|---|---|
| 保持可被引用，同时拒绝训练 | 对 GPTBot 设 Disallow，放行 OAI-SearchBot 和 ChatGPT-User |
引用不会受到影响；可能放弃参数化记忆带来的收益，但这项收益尚无法测量 |
| 同时允许训练与引用 | 不对 GPTBot 设 Disallow | OpenAI 会继续按其说明将内容用于训练 |
| 保留授权谈判空间 | 对 GPTBot 设 Disallow，同时配合网络层控制与合同 |
单靠 robots.txt 只是一份请求，不能据此主张已经保留权利 |
| 按路径区分 | 对 GPTBot 在某个子树下设 Disallow，放行其中一部分公开内容 |
需要实测哪些路径最终会被放行或屏蔽，方法见 robots.txt |
| 彻底退出 AI 答案 | 这涉及检索侧令牌，需要单独决定，与 GPTBot 无关 | 引用会立即且彻底消失，判断依据见 AI 爬虫 |
落实这项决策时，不能只修改文件，还要留下完整的策略记录：希望达到的目的、负责人、涉及哪些主机与协议、采用什么指令、上线日期，以及下次复核日期。如何核实源站返回了什么、实际到达服务器的是哪个程序，见 AI 爬虫访问审计。
还应事先确定复核日期。令牌本身从 2023 年至今很稳定，相关环境却持续变化：原定于 2025 年推出的退出工具始终没有上线，一项 CDN 默认设置将在 2026 年 9 月改变，授权方式在两年内也发生了两次变化。如果做出决定后从不复核，继续沿用的将是一套在过时环境下制定的策略。
中国企业实施 GPTBot 策略的特别考量
对于面向中国市场的企业，GPTBot 策略的制定需要考虑以下几个因素：
首先，中国内容的英文翻译版和海外华人的英文内容平台，更容易被 GPTBot 抓取。如果企业有面向国际受众的英文内容，GPTBot 策略的重要性会相应提高。
其次，国内 AI 引擎对中文内容的训练依赖较少依赖英文网络语料。文心一言、通义千问等引擎的训练数据主要来自中文互联网，因此 GPTBot 对中国内容的直接影响相对有限。
第三，如果企业的主要市场在中国大陆，且内容以中文为主，GPTBot 屏蔽策略的优先级可以相对较低。但仍建议关注 OpenAI 的授权谈判进展，因为大型中国平台（如百度、腾讯）可能已经进入谈判阶段。
第四，建议企业建立完整的策略记录，包括屏蔽决定、负责人、涉及主机、上线日期和复核日期。这有助于在未来的授权谈判中提供清晰的立场声明。
常见问题解答
GPTBot 是什么？
GPTBot 是 OpenAI 用来收集公开可抓取内容的爬虫，这些内容可能用于训练其生成式 AI 基础模型。OpenAI 将它定义为「用于抓取可能被用于训练我们生成式 AI 基础模型的内容」。抓取时间由 OpenAI 安排；它不回答任何用户提问，也不参与任何实时应答。GPTBot 于 2023 年 8 月上线，在主流训练爬虫中率先公开专用令牌，并允许站点直接退出。
屏蔽 GPTBot，我会从 ChatGPT 里消失吗？
不会。这是最容易带来实际损失的误解。GPTBot 既不参与 ChatGPT 搜索，也不参与实时浏览：搜索收录由 OAI-SearchBot 负责，ChatGPT-User 则代表用户实时取页。屏蔽 GPTBot 只会阻止你的内容进入下一轮模型权重，不会影响 ChatGPT 中的引用。
设置 Disallow 之后，已经训练进去的内容会被移除吗？
不会。robots.txt 里的 Disallow 只对之后的抓取生效，无法移除已经用于模型训练的内容，OpenAI 也没有公布任何能够做到这一点的机制。2024 年 5 月宣布的 Media Manager 原计划为创作者提供这类控制，但至今没有上线。
从 GEO 角度看，有理由放行 GPTBot 吗？
从机制上看，放行或许会有收益，但现有证据无法证实。模型在训练中接触的内容确实可能影响它对某个实体的先验判断，效果类似于不带链接的品牌提及。但没有任何研究只改变「站点是否放行 GPTBot」这一项，并据此证明放行能增加引用或提及；这类对照也无法进行：你无法为一次训练安排 A/B 测试，也无法把一次无来源的提及追溯到某一次抓取。
屏蔽 GPTBot 会连带屏蔽 OpenAI 的搜索爬虫吗？
不会。它们是两个独立的令牌，robots.txt 规则需要分别设置。不过两者共用基础设施：GPTBot 公布的 21 个网段中，有 6 个也出现在 OAI-SearchBot 的列表里。OpenAI 还说明，如果站点同时放行这两个程序，「我们可能只用一次抓取的结果来同时服务两个用途，以避免重复抓取」。即使如此，robots.txt 仍需按令牌分别决定是否放行。