全民HTTP限时活动
打开导航菜单

代理IP的日志分级:什么该记详细、什么该只记摘要

发布时间: 2026-11-18 09:46:46

日志记多细,是个反复被讨论但很少被真正想清楚的问题。记太少,出故障查不出原因;记太多,磁盘爆了、查询慢了、成本高了。有效率的做法不是"全都记"或"只记关键",而是分级——不同用途的日志用不同的详细度、存不同的时长。这篇讲分级的具体方案。

一、不分级的两种极端

极端一:全量详细记录。每条请求记 URL、请求头、响应头、响应体、完整耗时、代理地址、重试记录。结果:一天几百 GB,查一次故障要扫很久,存储成本超过代理费。

极端二:只记成败。只记"成功/失败 + 时间"。结果:出了问题只能知道"挂了",不知道"为什么挂",重启是唯一的应对手段。

分级的目标:让"高频低价值"的部分轻,让"低频高价值"的部分完整。

二、三个级别怎么分

按日志的用途分三级,而不是按字段分:

级别用途记录内容保留期
L1 摘要趋势与监控时间、任务、状态、耗时、失败类型6-12 个月
L2 明细故障排查L1 + 代理地址、目标站点、请求参数摘要7-14 天
L3 完整深度诊断L2 + 完整请求头/响应头 + 响应体样本1-3 天,仅失败时

关键设计:L1 不是"L2 的抽样",是聚合结果。统计口径固定(比如按小时按任务聚合),存储量极小但趋势完整。

三、L1 摘要:哪些字段必须留

L1 是长期数据,字段要精简但够用。七个字段:

1. 时间戳(精确到分钟即可,聚合用)

2. 任务标识

3. 代理地址段(只记 /24 段,不记单个 IP——段级分析够用)

4. 目标站点(域名级别)

5. 状态(成功/失败)

6. 耗时(毫秒)

7. 失败类型(认证/连接/超时/拒绝/内容异常)

七个字段按小时聚合后,一天的数据量是"小时数 × 任务数 × 站点数"量级,极小但能算出所有核心指标(成功率、耗时分布、失败结构、段级质量)。

四、L2 明细:什么时候需要单条记录

L2 用于排查"具体哪条请求出了问题"。比 L1 多三个字段:

  • 完整代理地址(不是段)
  • 完整目标 URL
  • 请求参数摘要(用于复现)

    L2 的开关策略:默认关闭。三种情况开启:任务首次上线的前 3 天、故障排查期间、新目标站点接入时。平时不需要 L2 的详细度——L1 足够看趋势。

    这个设计能省下大部分存储成本:L2 开销是 L1 的几十倍,只在需要时开,成本可控。

    五、L3 完整:只留失败的样本

    L3 记录完整请求头、响应头、响应体片段。这类数据量极大,只在两种情况下记:

    • 失败的请求:保留完整的上下文,便于事后分析为什么失败
    • 抽样的成功请求:按 1/1000 抽样,用于校准"成功响应长什么样"

      响应体只留片段(前 2KB),不要全存。且要脱敏——去掉任何可能含个人信息的内容。

      六、保留期怎么定

      保留期由"这类日志什么时候会被用到"决定:

      级别保留期理由
      L1 摘要6-12 个月趋势分析、季度复盘需要
      L2 明细7-14 天故障排查集中在近期,超过两周的问题基本已定位
      L3 完整1-3 天深度诊断在故障当天完成,过期无用

      分层存储:L1 存普通磁盘或对象存储;L2 存高性能盘(要快查);L3 存临时目录(可弃)。

      七、日志分级的三条实施原则

      原则一:分级在写入时决定,不是事后筛。写完再筛等于已经付了全量的存储成本。在日志框架里按级别判断,该记什么直接决定。

      原则二:L1 永不缺。L1 是唯一长期保留的数据,任何模块都不能跳过 L1 记录。哪怕某段代码暂时不需要详细日志,L1 的七个字段必须写。

      原则三:字段口径统一。同一个字段在不同模块里的含义要一致(比如"耗时"都是"请求发出到收到首字节")。口径不统一,聚合结果就是错的。

      八、成本对比的直观感受

      假设每天 100 万次请求:

      级别单条大小日数据量月成本占比
      只记 L1(聚合后)约 200 字节/条,聚合后极小几百 MB5%
      全量 L2约 1KB/条约 1GB40%
      全量 L3约 20KB/条约 20GB远超代理费

      结论:分级不是"省钱的小技巧",是让日志这件事可持续的前提。全量 L3 的成本会让整个项目的经济性崩塌。

      九、配置清单

      • [ ] 三级定义已明确(L1 摘要/L2 明细/L3 完整)
      • [ ] L1 七个字段已固化,所有模块统一写
      • [ ] L2 默认关闭,按需开启(上线初期/排查期)
      • [ ] L3 只记失败 + 成功抽样(1/1000)
      • [ ] L3 响应体只留前 2KB,且已脱敏
      • [ ] 三级保留期已配置(6-12月/7-14天/1-3天)
      • [ ] 分层存储已配置(普通盘/高性能盘/临时目录)
      • [ ] 字段口径文档已写(避免各模块理解不同)

        FAQ

        Q1:L1 聚合会不会丢失排查能力?

        不会丢关键能力。L1 的聚合结果能回答"哪个时段、哪个站点、哪类失败在增加",这些是排查的起点。定位到具体某条请求时才需要 L2,而 L2 可以按需开启。

        Q2:L2 按需开启,故障时来不及怎么办?

        故障发生时开启 L2,让它跑一段时间(几十分钟)就够采集到问题样本。不需要回溯历史——历史趋势从 L1 看。

        Q3:小规模系统需要这么复杂吗?

        可以简化成两级:L1 全留、L2 全留(因为量小)。单日请求量低于十万时,L2 全留的成本可以接受。超过百万级就必须分级了。

        Q4:日志里的响应体要不要脱敏?

        要。响应体可能含用户信息、联系方式、内部标识。脱敏规则:只留结构(标签名、字段名),不留具体值;或者用哈希替换。

        Q5:使用代理IP有什么合规要求?

        使用前须完成实名认证,只能用于数据采集、市场调研等合法场景;遵守目标网站的服务条款与 robots 协议。日志中如含个人信息,需遵守个人信息保护相关法规的最小化留存与安全存储要求。

        日志分级的核心是"按用途配详细度":L1 摘要长期留(看趋势)、L2 明细短期留按需开(查故障)、L3 完整只留失败样本(深度诊断)。三级各司其职,成本降下来,排查能力不降——这是让日志体系能长期跑下去的唯一方式。

        延伸阅读

          数据采集的法律边界:哪些数据采了会出事
          数据采集工具与服务怎么选:三类需求对应三种方案