Universe大数据平台特性简介-批量数据处理(图形化配置功能)

[复制链接]
liufc
liufc   中级会员    发表于 2016-10-17 14:21:22   最新回复:2016-10-17 14:21:22

控制流和数据流配置

数据集成模块提供拖拽式的图形化配置界面来实现控制流配置和数据流配置,配置界面如3-33-4所示。

控制流配置界面

20161017142040312001.png

 

数据流配置界面

20161017142040310002.png

 

流程配置好之后,为了验证流程配置的准确性,提供基于Web的流程测试功能,测试过程中,可以查看流程执行的过程信息。

对于执行失败的流程,系统支持:

l   执行流程时跳过已执行成功的节点。

l   配置控制流的超时和错误重试。

在线测试数据流的界面如3-5所示。

在线测试数据流界面

20161017142041726003.png

 

函数配置

数据集成模块的预置系统函数提供计算过程中常用的计算功能,并支持界面上查阅所有的预置系统函数。同时支持导入和查阅用户自定义函数。

变量配置

支持在界面配置如下变量:

l   在数据集成菜单中配置系统级变量。

l   在流程配置过程中配置流程变量和任务级变量。

虚拟资源配置

支持设置全局的分类型的虚拟资源,例如可以建立数据加载的虚拟资源,在配置加载任务时可以定义资源占用数。

虚拟资源并不代表实际的物理资源,只是通过配置一个虚拟指标总数以及每个任务运行所消耗的虚拟指标来控制流程的并发数,从而防止系统因超负荷运转而故障。

预警配置

配置流程执行失败情况下的预警功能,可设置按任务类型预警或按具体任务预警。预警可通过短信和邮件发送。预警配置界面如3-6所示。

预警配置界面

20161017142042288004.jpg

 

数据集成模块参数配置

支持配置预警开关和日志清理周期。


跳转到指定楼层
快速回复 返回顶部