代理IP与目标网站 robots 协议：合规采集的首道门槛

聊代理IP采集，多数内容都在讲怎么绕限制，很少讲怎么"守规矩"。但合规采集的头一步，恰恰是读懂目标网站的 robots 协议——它是网站对所有爬虫公开的访问约定，也是判断"这个站能不能采、能采什么、怎么采"的首要依据。这篇讲 robots 协议的读取、解读与在采集流程中的落地。

一、robots 协议是什么

robots 协议（Robots Exclusion Protocol）是网站放在根目录下的一个文本文件：`https://目标站点/robots.txt`。它用一套简单的语法，向所有自动访问程序（爬虫）声明：

• 哪些路径允许抓取
• 哪些路径禁止抓取
• 对特定爬虫（按 User-Agent 识别）有没有特殊规则
• 网站地图（Sitemap）的位置

重要认知：robots 协议是"约定"而非"技术强制"——它不阻止你访问，但它是行业公认的合规基准。尊重 robots 的采集与无视 robots 的采集，在发生纠纷时的性质完全不同。

二、robots.txt 怎么读

一个典型的 robots.txt 长这样：

```

User-agent: *

Disallow: /admin/

Disallow: /cart

Allow: /product/

Crawl-delay: 2

User-agent: Baiduspider

Disallow:

Sitemap: https://example.com/sitemap.xml

```

逐行解读：

• `User-agent: *`：以下规则适用于所有爬虫
• `Disallow: /admin/`：禁止抓取 /admin/ 路径下的所有内容
• `Allow: /product/`：在禁止规则中明确放行 /product/ 路径
• `Crawl-delay: 2`：两次抓取之间至少间隔2秒（限速要求）
• `User-agent: Baiduspider` + 空 Disallow：对百度爬虫无限制
• `Sitemap:`：站点地图位置，从这里能拿到网站自己公布的可抓取页面清单

规则匹配逻辑：更具体的规则优先；同一爬虫有多段规则时，通常以匹配度最高的 Disallow/Allow 为准。

三、采集前的 robots 检查流程

每个新目标站点接入前，robots 检查是固定动作：

步骤一：获取并解读

访问 `https://目标站点/robots.txt`，完整读一遍。重点记录：禁止路径清单、Crawl-delay 要求、有无针对通用爬虫的全面限制。

第二步：对照采集目标

把你的采集URL清单与robots规则比对：

• 目标路径在 Disallow 里 → 该路径不采，或与站点方沟通获得许可
• 有 Crawl-delay → 采集间隔不低于该值
• Sitemap 存在 → 优先从 sitemap 获取页面清单，比盲目猜URL高效且合规

第三步：记录归档

把每个目标站点的 robots 解读结果存档（禁止清单、限速要求、检查日期）。robots 内容会更新，定期复查——站点改版时 robots 常跟着变。

四、robots 之外的合规层次

robots 只是首道门槛，完整的合规采集还有几层：

层次二：服务条款（ToS）。部分站点的服务条款里有关于自动化访问的专门条款，比robots更细。重点是"数据用途限制"条款——采集来的数据能不能商用、能不能转售，条款里可能另有约定。

层次三：数据性质判断。公开可见的数据（商品价格、公开评价）与需要登录才能看的数据、个人隐私数据，合规要求完全不同。涉及个人信息的数据（用户资料、联系方式）要额外谨慎，遵守个人信息保护相关法规。

层次四：访问强度控制。即便 robots 全放行，高频请求对小型站点也是实际负担。行业共识：采集请求不应影响网站正常用户的访问体验。

层次关系：robots 是公开声明，ToS 是合同约定，数据性质是法律边界，访问强度是行业操守——四层都过关，采集才是真正意义上的合规。

五、把 robots 检查做成流程的一环

自动化检查：robots 检查可以做成接入流程的自动环节——新目标站点录入时，脚本自动抓取并解析 robots.txt，输出该站点的允许路径与限速要求，人工复核后生成采集配置。robots 有变更（文件哈希变化）时触发提醒，重新解读。

采集器的原生支持：主流采集框架都内置了 robots 遵循开关（如 Scrapy 的 ROBOTSTXT_OBEY），开启后框架自动按 robots 规则过滤请求。团队统一开启，把合规检查固化到工具层。

与代理调度的联动：robots 的 Crawl-delay 与代理调度结合——同一站点下，无论用哪个地址，对站点整体的请求间隔都不低于 Crawl-delay。这是"全站限速"与"单地址限速"的区别，很多采集任务在这里踩坑。

六、常见误区

误区一：robots 没禁止=随便采。robots 只声明了爬虫访问的边界，数据的版权与用途限制在 ToS 和法律层面另有约束。

误区二：只检查一次。robots 是会变的。接入时合规不等于一直合规，定期复查是必要动作。

误区三：登录后才可见的内容也按 robots 判断。robots 管的是公开爬取边界；登录态下的数据采集还要叠加账号协议的约束。

误区四：Crawl-delay 可以忽略。它是站点明确表达的限速要求，忽略它等于无视对方最直接的诉求，也是触发封禁的常见原因。

FAQ

Q1：robots.txt 不存在的站点可以随便采吗？

没有 robots 表示站点未做爬虫限制声明，但 ToS、数据性质、访问强度三层约束依然存在。建议默认保守：控制频率、只采公开数据。

Q2：Disallow 的路径通过登录态访问算违规吗？

robots 管的是自动抓取行为对公开路径的约定；登录态访问是用户行为范畴。但用技术手段集中登录抓取 Disallow 内容，属于明显违背站点意愿，不建议。

Q3：Crawl-delay 没写但站点很小的，频率怎么定？

参考站点规模：小型站点建议单地址每2-5秒一次请求，且总并发不超过2。宁可慢，别把人家小站打挂。

Q4：robots 对不同爬虫有不同规则，以哪个为准？

看你的采集身份。没有注册过专用UA的采集程序，按 `User-agent: *` 的规则执行。伪装成搜索引擎爬虫绕过限制的做法不推荐。

Q5：使用代理IP采集有什么合规要求？

使用前须完成实名认证，只能用于数据采集、市场调研等合法场景；遵守目标网站的服务条款与robots协议，不干扰目标网站正常运行。

robots 协议是合规采集的起点而非全部：读懂它、遵循它、把它固化到采集流程里，再叠加 ToS、数据性质、访问强度三层约束。对目标站点保持基本的尊重，采集业务才能走得长远——这既是合规要求，也是成本最低的可持续策略。如需多目标站点的合规评估支持，可联系客户经理沟通。

延伸阅读

• 数据采集反爬升级应对：目标站点风控变化监测与策略调整
• 爬虫采集总被封IP？一套完整的防封策略与代理IP搭配方案
• 国内动态IP和静态IP怎么选：业务场景对照指南