日志记多细,是个反复被讨论但很少被真正想清楚的问题。记太少,出故障查不出原因;记太多,磁盘爆了、查询慢了、成本高了。有效率的做法不是"全都记"或"只记关键",而是分级——不同用途的日志用不同的详细度、存不同的时长。这篇讲分级的具体方案。
极端一:全量详细记录。每条请求记 URL、请求头、响应头、响应体、完整耗时、代理地址、重试记录。结果:一天几百 GB,查一次故障要扫很久,存储成本超过代理费。
极端二:只记成败。只记"成功/失败 + 时间"。结果:出了问题只能知道"挂了",不知道"为什么挂",重启是唯一的应对手段。
分级的目标:让"高频低价值"的部分轻,让"低频高价值"的部分完整。
按日志的用途分三级,而不是按字段分:
| 级别 | 用途 | 记录内容 | 保留期 |
|---|---|---|---|
| L1 摘要 | 趋势与监控 | 时间、任务、状态、耗时、失败类型 | 6-12 个月 |
| L2 明细 | 故障排查 | L1 + 代理地址、目标站点、请求参数摘要 | 7-14 天 |
| L3 完整 | 深度诊断 | L2 + 完整请求头/响应头 + 响应体样本 | 1-3 天,仅失败时 |
关键设计:L1 不是"L2 的抽样",是聚合结果。统计口径固定(比如按小时按任务聚合),存储量极小但趋势完整。
L1 是长期数据,字段要精简但够用。七个字段:
1. 时间戳(精确到分钟即可,聚合用)
2. 任务标识
3. 代理地址段(只记 /24 段,不记单个 IP——段级分析够用)
4. 目标站点(域名级别)
5. 状态(成功/失败)
6. 耗时(毫秒)
7. 失败类型(认证/连接/超时/拒绝/内容异常)
七个字段按小时聚合后,一天的数据量是"小时数 × 任务数 × 站点数"量级,极小但能算出所有核心指标(成功率、耗时分布、失败结构、段级质量)。
L2 用于排查"具体哪条请求出了问题"。比 L1 多三个字段:
L2 的开关策略:默认关闭。三种情况开启:任务首次上线的前 3 天、故障排查期间、新目标站点接入时。平时不需要 L2 的详细度——L1 足够看趋势。
这个设计能省下大部分存储成本:L2 开销是 L1 的几十倍,只在需要时开,成本可控。
L3 记录完整请求头、响应头、响应体片段。这类数据量极大,只在两种情况下记:
响应体只留片段(前 2KB),不要全存。且要脱敏——去掉任何可能含个人信息的内容。
保留期由"这类日志什么时候会被用到"决定:
| 级别 | 保留期 | 理由 |
|---|---|---|
| L1 摘要 | 6-12 个月 | 趋势分析、季度复盘需要 |
| L2 明细 | 7-14 天 | 故障排查集中在近期,超过两周的问题基本已定位 |
| L3 完整 | 1-3 天 | 深度诊断在故障当天完成,过期无用 |
分层存储:L1 存普通磁盘或对象存储;L2 存高性能盘(要快查);L3 存临时目录(可弃)。
原则一:分级在写入时决定,不是事后筛。写完再筛等于已经付了全量的存储成本。在日志框架里按级别判断,该记什么直接决定。
原则二:L1 永不缺。L1 是唯一长期保留的数据,任何模块都不能跳过 L1 记录。哪怕某段代码暂时不需要详细日志,L1 的七个字段必须写。
原则三:字段口径统一。同一个字段在不同模块里的含义要一致(比如"耗时"都是"请求发出到收到首字节")。口径不统一,聚合结果就是错的。
假设每天 100 万次请求:
| 级别 | 单条大小 | 日数据量 | 月成本占比 |
|---|---|---|---|
| 只记 L1(聚合后) | 约 200 字节/条,聚合后极小 | 几百 MB | 5% |
| 全量 L2 | 约 1KB/条 | 约 1GB | 40% |
| 全量 L3 | 约 20KB/条 | 约 20GB | 远超代理费 |
结论:分级不是"省钱的小技巧",是让日志这件事可持续的前提。全量 L3 的成本会让整个项目的经济性崩塌。
Q1:L1 聚合会不会丢失排查能力?
不会丢关键能力。L1 的聚合结果能回答"哪个时段、哪个站点、哪类失败在增加",这些是排查的起点。定位到具体某条请求时才需要 L2,而 L2 可以按需开启。
Q2:L2 按需开启,故障时来不及怎么办?
故障发生时开启 L2,让它跑一段时间(几十分钟)就够采集到问题样本。不需要回溯历史——历史趋势从 L1 看。
Q3:小规模系统需要这么复杂吗?
可以简化成两级:L1 全留、L2 全留(因为量小)。单日请求量低于十万时,L2 全留的成本可以接受。超过百万级就必须分级了。
Q4:日志里的响应体要不要脱敏?
要。响应体可能含用户信息、联系方式、内部标识。脱敏规则:只留结构(标签名、字段名),不留具体值;或者用哈希替换。
Q5:使用代理IP有什么合规要求?
使用前须完成实名认证,只能用于数据采集、市场调研等合法场景;遵守目标网站的服务条款与 robots 协议。日志中如含个人信息,需遵守个人信息保护相关法规的最小化留存与安全存储要求。
日志分级的核心是"按用途配详细度":L1 摘要长期留(看趋势)、L2 明细短期留按需开(查故障)、L3 完整只留失败样本(深度诊断)。三级各司其职,成本降下来,排查能力不降——这是让日志体系能长期跑下去的唯一方式。
延伸阅读