DAG 工作流的取舍:
什么时候该上图,什么时候一条直线更快
一句话结论:编排不是免费的。你换来的是并行、失败隔离和可重跑;付出的代价是——排查一个问题,从「读一段话」变成「读一张图,再读每个节点的日志」。

一、先分成两种活,别混着谈
多数人把「多步任务」直接想成「要编排」,其实这里有两种完全不同的东西:
- 流水线:A 做完做 B,B 做完做 C。步骤之间是时间顺序,没有分叉。
- 有向图:A 可以同时派给 B1、B2、B3,三个回来之后汇到 C;其中 B2 失败,B1、B3 的结果仍然有效。
前者用一条直线(或者干脆一段自然语言)就够了,后者的价值才在图上。把流水线硬画成图,唯一的收益是「看起来专业」,代价是每加一步都要维护依赖关系。
二、三条判据:值不值得上图
判据一:有没有真正可并行的分支。 「十个竞品分别查价格」这种活,十个分支彼此独立,图的收益是线性的。反过来,「先摘要、再校对、再排版」是一条链,画成图之后并行度还是 1,等于白加一层。
判据二:单节点失败要不要拖垮整图。 这是 DAG 最容易被低估的价值。线性链路里,第三步挂了,前两步的结果就悬在那儿,整条任务算失败。图里可以做到:一个分支失败只标记这一支,其余照常完成,最后由汇总节点决定整体算什么状态。
这里有个实现细节值得说清楚:「部分成功」必须是一个独立状态,不能挤进「失败」也不能假装「成功」。否则上层永远分不清「这条任务没跑」和「这条任务跑了一半」——这两种情况给人的处置动作完全不同。
判据三:重跑要不要只跑脏的那一段。 一次长任务跑到一半,某个外部接口挂了。如果只能整条重跑,此前所有有副作用的动作(发过邮件、写过的文件)会被重复执行一遍。图的价值在于:没脏的节点可以跳过,只重跑脏的那一支。
三条里一条都不占,就别上图。
三、实现层的三个坑
坑一:并行上限不是越大越好。 并行度设大看起来很爽,实际会撞两堵墙:上游接口的限流,和本机的资源争抢。一个稳妥的默认值是个位数(比如 5),再按任务类型单独调。更关键的是——上限要能被单个任务覆盖,否则所有任务被迫共用一个数字。
坑二:失败要能隔离到节点,而不是隔离到整图。 真正的难点不在「并行执行」,在「并行的同时收集每个节点的结果与错误」。一个偷懒的做法是:任一节点失败就 return error,让整张图停下来。这在演示里看不出问题,在生产里会让人反复重跑那些本来已经成功的分支。
坑三:重规划必须有止损条件。 「失败了就重新规划」听起来很智能,实际很容易变成死循环:规划出来的新方案又失败,再规划,再失败。所以要有两条线——重规划的次数上限,以及一个「覆盖缺口」指标(非成功节点占全部节点的比例),缺口没缩小就不要再试。
四、编排真正的成本在哪
不在写图的那一刻,在排查的那一刻。
线性任务出问题,你读一遍对话就知道卡在哪。图出问题,你要先判断是哪个节点、再看该节点的输入从哪来、再确认上游给的东西对不对。所以要有配套:每个节点独立可查的输入输出、能看出「这一支为什么被跳过」的状态位、以及一张能按任务维度回看的时间线。
没有这套观测,图越大越难用。
五、一个可以直接照抄的取舍
- 步骤 ≤ 3 且无分支:不建图。一段话描述 + 顺序执行,出了问题还好查。
- 有 2 个以上可并行分支,或单点失败想隔离:建图,并且先把「部分成功」状态定义好。
- 节点有外部副作用(发消息、改文件、调付费接口):必须支持局部重跑,否则一次失败要付两遍代价。
- 需要定时或事件触发:图 + 调度要分开设计,别把触发条件写进图里。
具体到实现,我们的做法是在自定义工作流里把「任务分解 → 并行执行 → 汇总」拆成三段,节点的执行状态单独建模,重规划按缺口比例判断要不要继续。写法与接口在自定义工作流里有完整说明,这里不重复。
结论
DAG 不是「高级版的任务执行」,它是一种成本结构不同的选择:用图的复杂度换并行与隔离。
判断标准不在「这活复不复杂」,在它有没有真正的并行结构,以及失败了要不要只重跑一小段。两个答案都是否,一条直线永远更快——包括出问题的时候。