跨 profile cron 失败盲区:李雷 22:30 provider fallback 全挂,韩梅梅采集仍显示 0 失败——多代理架构的监控缺口
本文最后更新于 2026年11月20日 凌晨
22:30,李雷 profile 的 provider fallback 全挂。主 provider 不可用,备用 provider 超时,缓存快照也过期。任务最终失败。
韩梅梅 profile 的采集面板却显示 0 失败。告警没有响,值班同学没有被打断。问题直到第二天数据缺口被发现,才从日志里翻出来。
这不是日志没打。也不是 fallback 没记录。是多代理架构里,失败被放到了错误的 profile 下,然后被静默吞掉。
告警为什么没响
李雷 profile 的 cron 任务不是单纯读数据库。它会调用韩梅梅 profile 维护的 provider 代理,由后者去访问多个 provider。
正常流程里,这个 provider 代理会做多层 fallback:主 provider、备用 provider、缓存快照。只要任意一层成功,调用方就认为这次调用完成了。
22:30 这次,所有 fallback 层都失败。主 provider 返回错误,备用 provider 超时,缓存快照也过期。李雷 profile 的 cron 收到的是一个失败响应。它记录本地任务失败。
问题出在韩梅梅 profile 的采集侧。采集器只统计 provider 代理自身的成功率和错误率。由于调用请求被归入李雷 profile,采集器没有把它纳入韩梅梅 profile 的失败计数。
韩梅梅面板里的指标叫 “provider 请求失败数”。它只统计 provider 代理自己主动拒绝、限流、内部异常。跨 profile 调用失败被当成 caller 侧失败,不算 callee 侧失败。
这就是盲区:李雷的任务确实失败了。韩梅梅的 provider fallback 也确实全挂了。但监控把它们拆成了两个不相交的故事。
我们以为的“失败”不是同一种失败
多代理架构里,一个 cron 失败至少有三层含义。
第一层是任务失败。cron 没完成,数据没写入,下游会缺数据。李雷 profile 应该看到这个失败。
第二层是依赖失败。任务调用了另一个 profile 的服务,服务不可用。李雷 profile 应该知道失败来自韩梅梅 profile 的 provider 代理。
第三层是 provider fallback 失败。主、备、缓存都失败。韩梅梅 profile 应该知道 provider 层出了问题。
原来的监控只把第三层做成了韩梅梅 profile 的私有指标。第一层归李雷,第三层归韩梅梅,第二层没有归属。跨 profile 调用失败掉进了中间地带。
这就像两个人合作搬箱子。李雷说箱子没搬动。韩梅梅说我这边没有箱子砸到我。双方都没错,但箱子确实砸在门口。
跨 profile 调用把错误藏进了“别人的任务”
李雷 profile 调用韩梅梅 profile 时,请求里只有 source profile,没有 target profile。也没有 fallback 链路标识。
日志里能看到:
李雷 profile: task failed韩梅梅 profile: upstream 503韩梅梅 profile: fallback timeout
单看每条日志都有意义。合在一起看,它们属于同一次失败。可是采集器不是按同一件事聚合的。它按 profile、服务名、指标类型聚合。
李雷侧看到的是任务失败。韩梅梅侧看到的是 provider 错误日志。采集器没有把这两类事件拼成一条端到端链路。
更麻烦的是 cron 任务的重试策略。李雷 profile 的任务会重试多次。每次重试都会产生新的本地任务状态。韩梅梅 profile 的 provider 代理每次也收到请求。采集器看到 provider 代理收到请求,但没有把这些请求和最终任务失败关联起来。
李雷 profile 里,多次重试都失败,最终失败。韩梅梅 profile 里,provider 代理返回了错误,但错误码被归类为 upstream 错误,不是 provider 代理自身失败。指标面板选择只统计 provider 代理自身失败。
于是 0 失败出现了。
真正的缺口不是日志,是归属
我们一开始以为要补日志。补日志确实有用,但不解决监控缺口。
日志能告诉你某个服务返回了 503。监控要回答的问题是:这次失败影响谁,属于哪个 profile,应该通知谁。
多代理架构里,一个 profile 的成功不等于另一个 profile 的成功。一个 profile 的失败也不等于另一个 profile 的失败。
如果没有跨 profile 归属,监控只能看见局部健康,看不见业务链路健康。
李雷 profile 的 cron 失败是业务链路失败。韩梅梅 profile 的 provider fallback 全挂是根因失败。两者之间需要一条依赖边。
这条依赖边原来只存在于代码里,不存在于监控里。
修复思路:把 caller、callee、profile、fallback 拆开
我们后来把事件模型拆成四个字段。
caller_profile 表示谁发起调用。李雷 profile 的 cron 是 caller。
callee_profile 表示谁被调用。韩梅梅 profile 的 provider 代理是 callee。
fallback_stage 表示当前处于哪一层 fallback。主 provider、备用 provider、缓存快照分别记录。
correlation_id 表示一次端到端调用。每次 cron 任务开始时生成,贯穿任务、重试、跨 profile 调用、provider fallback。
这样一次失败会留下完整链路。
李雷 profile 的 cron 失败会记录 caller profile。跨 profile 调用失败会记录 callee profile。韩梅梅 profile 的 fallback 全挂会记录 fallback 耗尽。同一个 correlation id 把它们串起来。
先让 fallback 失败显形
韩梅梅 profile 原来有一个指标叫 “provider 成功率”。它只记录请求是否被 provider 代理成功处理。
这个指标太粗。provider 代理成功处理一个上游失败,不代表业务成功。provider 代理返回错误给 caller,也不等于 provider 代理失败。
我们把它拆成三组指标。
provider 入口指标:请求收到、响应返回、响应状态。
provider 依赖指标:主 provider 失败、备用 provider 失败、缓存快照失败、fallback 全部耗尽。
跨 profile 影响指标:哪些 caller profile 因 fallback 耗尽而失败。
22:30 的事件如果走新模型,韩梅梅面板不会显示 0 失败。它会显示 fallback 全部耗尽,并列出受影响的李雷 profile。
李雷面板也会显示任务失败来自韩梅梅 profile,而不是笼统的 cron 失败。
别只修一个 cron,要修一张依赖图
单看李雷 profile 的 cron,问题像是任务失败率上升。单看韩梅梅 profile 的 provider 代理,问题像是 provider 上游异常。单看采集面板,问题像是指标漏计。
它们不是三个问题。它们是一个多代理依赖图里的同一个缺口。
我们需要把 profile 之间的调用关系变成可观测对象。
每个 cron 任务要声明依赖:它调用哪个 profile,哪个服务,是否允许 fallback,fallback 耗尽时是否算任务失败。
每个 fallback 阶段要声明影响面:它失败时,哪些 caller profile 会受影响。
每个跨 profile 调用要携带上下文:caller、callee、correlation、业务任务、重试次数。
没有依赖图,监控只能看孤岛。有依赖图,监控才能看传导。
上线前怎么验证
我们用一个简单场景验证:模拟 22:30,李雷 profile 的 cron 调用韩梅梅 profile 的 provider 代理,主 provider 不可用,备用 provider 超时,缓存快照过期。
旧监控下,李雷侧看到任务失败。韩梅梅侧可能看到上游错误,但采集面板仍可能显示 0 失败。
新监控下,三个信号必须同时出现。
李雷侧出现 cron 任务失败。韩梅梅侧出现 provider fallback 全挂。跨 profile 链路出现李雷到韩梅梅的失败传导。
如果只有一个信号出现,说明事件模型还没打通。
值班时应该先问三个问题
现在遇到跨 profile cron 失败,值班同学会先问:失败发生在哪个 profile?
这个问题不够。还要问:失败发生在调用链的哪一段?
是 caller 任务失败,callee 服务失败,还是 provider fallback 失败?
还要问:这次失败是否被采集器归类成另一个 profile 的局部错误?
三个问题能避免把李雷的任务失败误判成韩梅梅的局部日志噪声。
多代理架构里,监控不能只按服务归属看。要按业务链路看。
李雷的 22:30 任务失败,根因在韩梅梅的 provider fallback。韩梅梅的采集显示 0 失败,根因在跨 profile 事件没有归属。
真正要修的不是一个 cron,也不是一个采集器。是把 profile 之间的依赖边显式写进监控。