技术上讲,能访问的页面几乎都能采。但"能采"和"采了没事"是两件事。数据采集的法律风险不是抽象的"合规要求",而是具体的几类红线——踩中哪一类,后果从"数据必须删除"到"民事赔偿"到"刑事立案"不等。这篇把边界划清楚:哪些是安全区、哪些需要授权、哪些绝对不要碰。
数据采集涉及的法律关系有三个层面,风险各自不同:
首层:访问行为本身。你有没有权利访问这个页面、访问方式是否破坏了技术保护措施。
次层:数据的权利归属。采到的数据是不是别人的作品、有没有著作权、是不是商业秘密。
末层:数据的性质。里面有没有个人信息、有没有法律特别保护的类型。
三层都过关,才谈得上"合法采集"。多数人只想到首层("页面是公开的"),忽略了后两层。
安全区:无需登录的公开页面、站点主动开放的接口、明确允许抓取的资源。
需谨慎:有 robots 协议限制的路径(遵守它就是安全区)、有频率限制的站点(不超限即可)。
明确越界:
判断标准:如果目标站点知道你在做什么,它会同意吗?技术手段上你是否绕过了它设置的障碍?两个问题中任一为"否",就有风险。
事实性数据(价格、参数、统计数值、公开的工商信息):通常不构成作品,可以采集使用,建议注明来源。
原创内容(文章、评论、译文、图片、视频):受著作权保护。采集用于内部研究风险较低,用于公开发布、训练商业模型、对外服务则可能需要授权。
数据库整体:即使里面的单条数据都是事实,汇编形成的数据库在部分司法辖区受"数据库权利"或汇编作品保护。整站搬运的风险高于"提取部分数据做分析"。
商业秘密:非公开的经营数据、客户名单、未公开的财务信息。这类数据即便技术上能拿到,使用即可能构成侵权。
这条没有弹性空间。数据里一旦含可识别自然人的信息,就进入了个人信息保护法律的适用范围。
必须排除的类型:
特别注意两个场景:
场景一:投诉与评价内容。用户评价里常带"我住在XX小区""我的订单号是XX",这些是个人信息,必须过滤。
场景二:企业联系人信息。B2B 场景下的"公司+联系人+电话",虽然是商业场景,但联系人仍是自然人,属个人信息,采集需有合法依据。
处理原则:涉及个人信息的采集,要么取得同意,要么有法律规定的其他合法性基础,要么做彻底匿名化(确保无法再识别)。做不到就不采。
1. 需要登录才能访问的私域内容(用账号登录后成批抓取,多数平台条款明确禁止)
2. 含个人信息的一切数据(无论来源是否公开)
3. 明确标注禁止采集或禁止商用的内容
4. 付费内容、订阅内容(绕过付费墙获取)
5. 法律特别保护的类型(涉未成年人、涉国家安全、涉医疗健康敏感信息等)
动作一:来源清单化。每个数据源记录:地址、访问条件、robots 结论、条款结论、合规判定(可采/受限/禁用)。清单外的源不采。
动作二:内容分类处理。事实性数据与作品性内容分开;后者要么取得授权,要么剔除。
动作三:个人信息过滤。入库前过一道过滤,识别并剔除个人信息字段。过滤要留审计记录,证明做过。
动作四:用途约束。数据用途写进项目文档(内部研究/商业训练/对外服务),用途变更要重新评估。同一份数据,内部用和对外卖,合规要求完全不同。
误区一:"公开数据就可以随便用"。公开是"谁都能看",不等于"谁都能复制、商用、再分发"。公开性与可用性是两回事。
误区二:"我只是做技术研究"。用途声明不改变行为性质。采了个人信息、绕过了技术措施,即便声称研究用途,也难以免责。
误区三:"别人也在采"。行业普遍做法不构成合法性依据。真出事时,"别人也这么干"不能作为抗辩。
Q1:采公开的商品价格数据,合法吗?
价格属事实性数据,采集公开可见的价格用于内部比价分析,风险较低。但要注意:不能绕过技术措施、不能高频压垮对方系统、不能把整站数据原样对外分发。
Q2:做 AI 训练语料,需要逐个授权吗?
取决于内容性质。事实性数据通常无需单独授权;原创作品需要。稳妥做法:优先用事实性数据与明确开放授权的数据源,剔除作品性内容。
Q3:用户评价能不能采?
技术上能,但内容含个人信息(用户昵称、可能含联系方式)且属用户创作内容,权利链条复杂。用于内部分析风险可控(需匿名化),对外发布则风险较高。
Q4:被投诉了怎么办?
首要动作是立即停止相关采集、评估影响范围、删除涉事数据。多数纠纷在"及时停止并删除"后能协商解决。继续采集会显著加重责任。
Q5:数据采集的合规要求总体是什么?
只采集公开可访问的数据,不绕过任何技术保护措施,遵守目标网站的 robots 协议与服务条款,不采集个人信息,不采集需授权的内容,用法与授权范围一致。涉及境外数据源时,需在境外网络环境接入并完成实名认证。
数据采集的法律边界,说到底是三层:访问行为要正当、内容权利要清楚、个人信息不能碰。三层里最容易出事的是第三层,最容易被忽视的是第二层。立项时把来源清单与合规判定做出来,比事后补救省事一百倍——这个动作花不了两天,但能避免项目做到一半被叫停。
延伸阅读