Universe大数据分析平台特性简介-USE统一调度

[复制链接]
liufc
liufc   中级会员    发表于 2016-10-17 14:56:31   最新回复:2016-10-17 14:56:31

产品背景

Universe 大数据分析平台统一调度模块提供可视化的工作流调度开发和编辑平台,方便用户通过“拖拽式”的方式编辑任务执行逻辑,实现跨集群、跨系统任务的集中调度和管理。

支持将数据集成、数据治理、数据探索或者第三方应用平台的任务编排到同一个调度任务中。提供跨Hadoop集群、跨应用系统的任务的集中调度和管理。如3-33所示。

统一调度示例

20161017145333145001.png

 

功能描述

功能描述

功能

描述

调度任务配置

统一调度提供多种控制流任务,包括计算、触发器、汇接、依赖、空白、循环入口的控制流节点的web配置。

支持业务任务节点配置,调用外部任务平台控制流。

调度任务管理

l  集群平台管理

提供统一的外部任务平台的接口定义,支持向不同的任务平台进行任务调度,任务平台接收到任务调度后进行任务执行,并能上报执行结果给统一调度引擎。

l  配置调度任务-控制流

l  设置调度时间

提供调度时间和调度周期的Web界面配置,调度时间粒度可选,支持优先级队列设置。

l  任务调度

统一调度管理模块,支持查询调度控制流,批量启动停止和修改调度时间功能。

提供调度任务的触发、调度任务的设置、调度任务的租户隔离、调度引擎和任务的启停等。

 

 USE与其他组件的交互流程

20161017145529140001.png


调度任务配置

应用场景

统一调度提供不同的控制流节点,控制整个数据集成的执行过程。

灵活的调度能力,调度粒度可以为分钟、小时、日、月、年等,在无人工干预的情况下保证数据的及时性和准确性。支持批量处理启动、停止、挂起等控制流统一处理场景。

功能描述

统一调度提供控制流任务节点。控制流任务是完成特定功能的实体。为了降低数据处理逻辑的复杂性,用户一般会将整个数据处理过程分割为多个步骤,每一个步骤负责完成一项比较简单的任务。任务之间存在各种各样的协作关系,如:顺序执行、依赖等等。通过将一些简单的逻辑关系组合在一起,就可以实现一个比较复杂的处理逻辑。

3-34展示了统一调度模块配置“可拖拽式”配置控制流任务的界面效果。

统一调度配置界面

20161017145918370001.png

 

统一调度控制流节点

功能

描述

业务任务

设置与第三方平台对接的控制流节点,如支持与数据集成对接,调用数据集成控制流任务。

计算

计算任务用于改变流程变量的取值。

触发器

触发任务是从当前任务触发启动另一个任务。触发任务只能用于创建任务触发关系。

汇接

将多个任务流程汇聚到一起的任务。

依赖

添加跨控制流依赖关系的任务。

依赖任务是添加跨控制流依赖关系的任务。依赖任务并不执行实际的数据处理功能,只能用于创建任务、控制流依赖关系。

空白任务

不执行任何处理的任务。

空白任务是不执行任何处理的任务。引入空白任务,当控制流的流程图中存在多个任务,而其中一个或多个任务功能不清楚时,可以暂时引入空白任务来代替。待用户确认该任务功能后,再用实际的任务取代空白任务。

您也可以引入其他任务作为起始任务,之所以建议引入空白任务,是因为空白任务不产生问题数据。

循环入口

作为循环体的入口的任务。

此节点用来作为一个循环体的入口,本身不做任何操作。只有当流程中使用了“循环入口”节点,才能够配置循环流程。


调度任务管理

应用场景

统一编排调度特性支持集群平台管理,用于在统一调度系统中定义任务平台信息。

同一租户下的账号能够监控任务平台的计算和存储资源,并根据任务平台上报的资源的使用情况确定调度策略。

超级管理员与租户权限差别:

l   超级管理员可以编辑普通租户的流程,但不修改相应流程租户信息,对于触发节点、依赖节点和业务任务调用节点这些图元,选择流程时,只能选择本租户下的流程。

l   对于超级管理员新增的全新流程,不涉及租户信息。超级管理员对普通租户的流程设置调度时,调度信息中包含的租户信息与该流程的租户信息保持一致。

功能描述

业务流程

20161017145919355002.png

 

集群平台配置

统一调度支持配置第三方对接平台,提供任务平台的新增、修改和导入导出。此版本统一调度暂时只支持与数据集成、数据治理和数据探索的流程调度对接。

3-363-37展示了配置第三方对接平台的界面。

配置任务对接平台

20161017145920619003.png

 

新增任务平台对接样例

20161017145920943004.png

 

设置调度时间

通过设置控制流的调度时间,控制整个任务的执行过程。3-38展示了配置任务调度时间和调度周期的界面效果。

设置统一调度任务调度时间

20161017145921571005.png

 

任务调度

3-39展示了任务调度的界面效果。任务调度可以查询某个流程调度计划,包括查看流程调度计划以及对其进行控制与调整。

任务调度

20161017145922767006.png

 



本帖最后由 liufc 于 2016-10-17 15:00 编辑
跳转到指定楼层
快速回复 返回顶部