开源任务调度平台(Apache DolphinScheduler)-功能介绍-任务类型2

开源任务调度平台(Apache DolphinScheduler)-功能介绍-任务类型2

精选文章moguli202024-12-19 9:36:1536A+A-

任务参数附录

DolphinScheduler任务插件有一些公共参数,我们将这些公共参数列在文档中供您查阅。每种任务都有如下的所有或者部分默认参数:

任务参数

描述

任务名称

任务的名称,同一个工作流定义中的节点名称不能重复。

运行标志

标识这个节点是否需要调度执行,如果不需要执行,可以打开禁止执行开关。

描述

当前节点的功能描述。

任务优先级

worker线程数不足时,根据优先级从高到低依次执行任务,优先级一样时根据先到先得原则执行。

Worker分组

设置分组后,任务会被分配给worker组的机器机执行。若选择Default,则会随机选择一个worker执行。

任务组名称

任务资源组,未配置则不生效。

组内优先级

一个任务组内此任务的优先级。

环境名称

配置任务执行的环境。

失败重试次数

任务失败重新提交的次数,可以在下拉菜单中选择或者手动填充。

失败重试间隔

任务失败重新提交任务的时间间隔,可以在下拉菜单中选择或者手动填充。

CPU 配额

为执行的任务分配指定的CPU时间配额,单位为百分比,默认-1代表不限制,例如1个核心的CPU满载是100%,16个核心的是1600%。 task.resource.limit.state

最大内存

为执行的任务分配指定的内存大小,超过会触发OOM被Kill同时不会进行自动重试,单位MB,默认-1代表不限制。该功能由 task.resource.limit.state 控制。

超时告警

设置超时告警、超时失败。当任务超过"超时时长"后,会发送告警邮件并且任务执行失败。该功能由 task.resource.limit.state 控制。

资源

任务执行时所需资源文件

前置任务

设置当前任务的前置(上游)任务。

延时执行时间

任务延迟执行的时间,以分为单位

SubProcess

子流程节点,就是把外部的某个工作流定义当做一个节点去执行。

1.任务参数

任务参数

描述

子节点

是选择子流程的工作流定义,右上角进入该子节点可以跳转到所选子流程的工作流定义

2.任务样例

3.查看执行结果

可以在工作流实例中,点击编辑查看具体任务执行情况;

4.注意事项

在使用 sub_process 调用子结点任务的时候,需要保证定义的子结点为上线状态,否则 sub_process 的工作流无法正常运行。

Dependent

Dependent 节点,就是依赖检查节点。比如 A 流程依赖昨天的 B 流程执行成功,依赖节点会去检查 B 流程在昨天是否有执行成功的实例。

Dependent 节点提供了逻辑判断功能,可以按照逻辑来检测所依赖节点的执行情况。

  1. 任务样例

  1. 注意事项

依赖的任务需要在 "工作流实例" 中有记录,并且相关任务执行的时间满足在依赖组件所依赖项目中指定的"时间周期"之前,否则依赖组件会一直处于执行中的状态;

点击这里复制本文地址 以上内容由莫古技术网整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!
qrcode

莫古技术网 © All Rights Reserved.  滇ICP备2024046894号-2