Universe大数据平台特性简介-批量数据处理(图形化运维功能)

[复制链接]
liufc
liufc   中级会员    发表于 2016-10-17 14:23:08   最新回复:2016-10-17 14:23:08

用户通过界面化的监控和维护操作,能够清晰的了解流程的数据的处理情况,即时处理数据流程,以及方便的对数据集成模块进行日常维护。

流程监控

l   在元数据视图中监控流程中各个任务的执行情况,并可查询流程执行日志、Hadoop日志、错误文件日志。

流程执行报错界面如3-7所示。

流程执行报错界面

20161017142223016001.png

 

l   实时监控正在执行的流程,批量启停流程。

实时监控界面如3-8所示。

实时监控界面

20161017142224129002.png

 

l   查询历史流程的执行情况。

历史流程执行情况界面如3-9所示。

历史流程执行情况界面

20161017142225440003.png

 

批量操作

支持通过界面操作执行以下批量操作:

l   流程批量导入导出

l   批量设置流程调度

l   批量测试流程

l   批量提交审核、上线、下线

l   批量发布参数、数据源配置

l   通过二维表批量设置输入输出参数类型

l   Excel复制输入输出参数类型

l   使用后台脚本导入导出流程文件、数据源配置、参数配置

控制流配置

控制流是程序执行中所有可能事件顺序的抽象表示,在Universe大数据分析平台中体现为对批量数据处理的执行过程的控制。

任务关系处理

控制流编排基于标准BPMBusiness Process Management)引擎,通过图形化配置界面中对执行任务节点和控制任务节点之间的连接,实现如下任务逻辑:

l   任务串联控制流:任务节点依次执行。

任务串联控制流

20161017142226893004.png

 

l   任务汇接控制流:两个串联任务并行执行,由一个汇接节点连接,当串联任务执行完毕后继续执行汇接节点之后的任务。

任务汇接控制流

20161017142226524005.jpg

 

l   任务依赖控制流:提供控制流之间的依赖和任务节点之间的依赖,实现跨流程的协调逻辑。

任务依赖控制流

20161017142227052006.png

 

依赖节点配置(任务节点依赖)

20161017142228913007.jpg

 

l   任务触发控制流:当触发器节点之前的任务执行完毕后,由触发器节点可以触发执行其他多个控制流。

任务触发控制流

20161017142229445008.png

 

l   文件等待控制流:当指定Hadoop节点服务器路径中的文件总数达到要求后,任务可继续执行,以实现跨系统的协调处理逻辑。

文件等待控制流

20161017142229040009.png

 

l   任务扩展控制流:操作员可在控制流中增加“外部程序”、“数据存储”和第三方M/R应用节点(集成预测节点)来扩展批处理数据的能力。

外部程序节点控制流

20161017142230874010.png

 

外部程序节点配置

20161017142231843011.png

 

内嵌集成预测节点控制流

20161017142232601012.jpg

 


跳转到指定楼层
快速回复 返回顶部