首页/ 推广杂谈/ 几十个号跑批失败了没人知道?给自动化任务加一层通知和告警

几十个号跑批失败了没人知道?给自动化任务加一层通知和告警

发布于 更新于 浏览 9 作者:帧码科技 多账号运营挂机跑批任务告警自动化脚本工作室效率 A+ A-

一句话结论 跑批失败分三类:单次失败补跑即可,连续两轮才算停摆;告警带账号编号和批次号,成功汇总与心跳照发,通知才不会被淹没。

跑批失败为什么常常隔天才发现

几十个号挂机跑批,早上打开电脑才发现一半任务没跑,这在工作室里太常见。症结通常不在脚本写得对不对,而在于它停了没人知道:正常跑完不说话,卡在中途也不说话,值班的人只能靠第二天翻日志倒推。等发现时,一个签到周期或一轮顶帖窗口已经过去,补跑也补不回原来的排位。事后对账能把当天应跑、实跑、跳过、失败四本账算清楚,但它回答不了什么时候坏的、坏在哪一步,这两个问题只有实时通知能答。

还有一层更隐蔽的情况:脚本其实没崩,退出码是 0,日志也写了一半,只是某个账号因为掉登录或代理超时被静默跳过。这种静默失败在汇总数字里只体现为一个跳过数,不盯细节根本看不出来。所以告警不能只盯着进程死没死,得盯任务有没有按预期完成。

先把失败分三类,告警才不会变成噪音

给任务加通知,很多人第一版就是失败就发一条,结果一天几十条,看两天就关掉了。要先把失败筛一遍,把真正需要人介入的挑出来。

类型典型表现要不要叫人
瞬时失败单个号掉登录、一次请求超时,下一轮自己就好了不用,脚本内部重试加自动补跑
持续失败同一批号连续两轮以上失败,或失败数超过批次三成要,立刻通知到人并附批次号
静默跳过退出码 0,但实跑数明显少于应跑数汇总里单列,超阈值再通知

分完类你会发现,真正值得马上处理的只有第二类。第一类交给脚本自己补,第三类只在每天汇总里单独列一行。这样值班的人看到的告警会从几十条降到个位数,才愿意真的去看。判断某个号是不是在异常边缘,可以对照《多账号总被判异常行为?先分清平台看哪几类信号,再逐项自查》逐项自查,别把验证码、限流这类前置信号也当成普通失败一路补跑过去。补跑的顺序和分类,见《批量签到跑一半失败、有人漏签?先分四类原因,再定补跑顺序》。

一层能用的告警,至少覆盖三层信息

把通知接进流程时,别只做失败那一条。一套完整的通知至少有三层,缺一层就会在关键时刻掉链子。

  1. 成功汇总:每批跑完发一条,写清应跑、实跑、跳过、失败四个数和耗时。它是你判断今天到底跑没跑全的唯一凭据。

  2. 失败明细:每个失败的账号单独一条,带上账号编号、失败原因、所处步骤和批次号,不用让人再去翻日志猜是哪一步断的。

  3. 心跳:任务每推进一段就发一个时间戳。超过约定间隔没有新心跳,说明进程可能卡死或电脑睡过去了,这比等第二天翻日志快得多,卡死的三类原因见《挂机跑签到顶帖过夜,早上任务全停?先查电脑睡眠、更新重启、断电三处》。

三层缺一不可。只有失败明细没有成功汇总,你分不清没通知是没失败还是脚本压根没跑;只有汇总没有心跳,进程卡在半路时汇总永远发不出来。日志本身要按天归档、按号定位,告警明细才有地方回查,具体字段可以照《几十个号跑完日志怎么留?按天归档、按号定位,报障包备齐四样》里的四样报障包来配。

汇总要能被机器读到

成功汇总别写成一段话,尽量用固定格式,比如应跑 48、实跑 45、跳过 2、失败 1 这样结构化的字段。固定格式的好处是可以直接被表格或看板收录,几天的数字并排一放,哪天开始掉量一眼就能看出来。这也呼应《运营动作为什么值得记日志?把排障、复盘、交接都挂到一张流水账上》里把每条动作挂到一张流水账上的思路:通知是流水账的实时版,对账的口径见《几十个号跑完怎么算跑全了?应跑、实跑、跳过、失败对四本账》。

明细要带可定位的最小字段

失败明细最少带四项:账号编号、失败步骤、错误类型、批次号。少了账号编号,几十个号里你不知道是哪一个;少了步骤,排障时还得从头跑一遍。字段口径和《几十个账号备注怎么写才找得到?编号管身份,备注管排查,每周核一次》里编号管身份的思路保持一致,编号规则全队统一,告警里写 n07,大家就知道是哪个号。

通知发给谁、什么阈值才触发

告警发到群里还是发到个人,取决于它要不要人立刻动作。需要马上处理的持续失败,直接发给当天值班人并单独标记;只是记录的汇总和心跳,丢到一个专用群或推送渠道里就行,别混在一起刷屏。多人轮班的团队尤其要明确这一点,否则半夜的告警落在已经下班的人那里,等于没发。轮班交接的字段口径可以参考《两个人轮班管几十个账号怎么交接?只给密码会在三个环节出事》。

阈值是另一个容易踩坑的地方。定得太松,偶发一次超时就报警,几天下来没人理;定得太紧,真出事又不报。比较稳的做法是按比例加连续次数双重判断:失败数超过本批三成,或者同一批连续两轮失败,才升级为即时通知;单个号偶发一次,先让脚本内部重试,重试不过再进明细。任务分布在几个时段跑的,阈值还要按时段分开设,窗口本身就短的凌晨批不能拿白天的标准卡,排班方法见《几十个号的任务排几点跑?按时段分三批,窗口留缓冲、日志对时间戳》。还要注意一种假失败:同一个号被两条任务线同时调用,会话被顶下线,日志里看起来像掉登录,其实是并发占用,这类情况先按《一个号被两条任务线同时调用会怎样?并发占用冲突与互斥排班》里的互斥规则排查,不然告警发得再准也是在报假警。

五个步骤把通知接进现有流程

不用推倒重来,沿着现有脚本加五步就能落地。

  1. 在每批的收尾处加一段汇总发送,把应跑、实跑、跳过、失败四个数格式化后推送。

  2. 给每个账号的执行结果挂一个状态字段,成功、重试、跳过、失败四态,失败明细从这里生成。

  3. 在主循环里加心跳,每处理固定数量的账号打一次时间戳,超过间隔没更新就触发卡死告警。

  4. 按上一节的双重阈值配置通知级别,持续失败走即时通道,其余走汇总通道。

  5. 把新的告警规则当配置改动对待,先挑一两个批次小范围试跑,确认没有误报再全量放,灰度方法见《几十个号的方案一改就全量上?先小批灰度试跑,再分批放量带回滚》。

这套通知是搭在任务脚本这一层的。如果几十个号是靠主程序统一调度,先把工具的体检和分组能力用起来,环境本身不干净时加再多告警也只是把同一个错误报得更勤,主程序的能力边界见《帧码多账号管理系统 主程序》。网络类的连续失败,告警触发后按《几十个账号突然全部连不上?代理超时的四层排查顺序》里的四层排查顺序往下查,别停在失败了这一步。

常见坑、工具边界与延伸阅读

见过几类反复出现的坑。一是告警只写任务失败四个字,没有编号也没有批次,人收到也得回头翻日志;二是把验证码弹窗、代理超时这类前置信号和普通失败混在一起报,真正的问题被淹没;三是加了告警却没配恢复通知,故障修好了没人知道,值班的人一直悬着;四是磁盘写满导致日志和心跳都落不了盘,告警自己先哑了,这类环境维护问题见《挂机跑几个月磁盘快满了、越用越卡?按号清缓存,登录态别动》。工具也有边界:这类通知机制解决的是及时发现,不会替你修好掉登录、不会替你规避平台风控,超出脚本和调度工具能管的部分,只能靠人按流程处理;改配置前该备份什么,读《升级主程序前要备份哪些东西?四份底稿加一张五项回归核对表》。

延伸阅读:验证码反复触发怎么查,读《账号老弹验证码、越跑越频繁?先分清四类触发原因,再按环境四层自查》;谁能改谁能发、告警优先发给谁的权限划分,读《几十个账号谁能改、谁能发?按岗位分三档权限,每条动作留一行记录》;通知规则改动前的试跑节奏,读《几十个号的方案一改就全量上?先小批灰度试跑,再分批放量带回滚》。

支 支付宝支付
支付宝收款码

如果这篇文章对你有帮助,欢迎打赏支持一下~

分享给朋友:
配套工具

智包大师,一个简单易用的python打包工具

智包大师想把 Python 打包的体力活全包了。写好的脚本发给同事,对方根本打不开。手动敲命令打包又太折腾:参数难记、依赖总…

评论留言(0)

微信
💬 扫码添加微信客服
微信二维码
微信号:dsyldsb
9:00 - 22:00
QQ
↑ 顶部