请阅CDM中典型场景和业务流程

[复制链接]
jsl
jsl   高级会员    发表于 2017-1-4 11:03:58   最新回复:2017-01-09 08:17:18

目前梳理了三个场景:

  • 互联网域数据处理
  • 运营商B域数据处理
  • 运营商O域数据处理

详细内容请见下文。

1 互联网域数据处理

场景描述

互联网域数据主要是指用户访问互联网网站或应用的上网日志,以及互联网上不同类别(如电商图书、音乐专题、用户搜索引擎等)的知识库资源。

用户的上网日志通过Corpus处理后,得到用户访问互联网的基础数据,并输出到融合数据模型的BDS层中。经过关联处理后,按照知识库类别和统计周期进行统计汇总,生成用户的上网行为统计数据。从而进一步分析用户的上网行为偏好,根据规则生成客户群和标签信息,支撑数字化营销场景。

此场景需要满足以下约束:

l   HadoopBDIDG已完成安装部署且正常运行。

l   Corpus已经安装成功,且用户的上网日志已经接入Corpus,并且能够正常输出识别话单。

l   CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。

l   数据模型审核完成,在Hadoop集群中已创建CDM模型对应的Hive物理表。

典型业务流程

互联网域数据的处理流程如1-1所示。

图1-1 互联网域数据的处理流程

20170104110324319001.png

 

处理流程说明如下:

1.         现场业务支撑人员将Gn口话单按照Corpus的要求接入到Corpus中。

2.         Corpus对话单进行离线标注输出到HadoopHDFS中。

3.         通过BDI工具,同步Corpus的离线标注结果、资源库和资源库元数据到CDMBDS层对应的Hive表中。

4.         CDM通过BDI工具,关联Corpus的离线标注结果和资源库,获取用户的互联网使用数据。

5.         CDM通过BDI工具,按照业务时间进行小时汇总用户的互联网使用数据,并输出到CIS层的Hive表中。

6.         CDM通过BDI工具,按照业务时间进行日汇总用户的互联网使用数据。

7.         CDM通过BDI工具,按照业务时间进行月汇总用户的互联网使用数据。

8.         通过BDI工具,将用户互联网使用月数据,输出到ADS层中的Hive表中,支撑客户洞察进行标签和客户群提取。


 

2 运营商B域数据处理

场景描述

运营商B域数据包括用户、客户、账务、产品、业务资源、计费清单、营销活动等包含业务使用特征的数据。

运营商B域数据接入CDM生成原始数据层(ODS)数据,按不同的主题进行分层、分域、提炼和整合,通过过滤、合并、关联、联合、分组汇总、编码映射等一系列数据处理过程,生成基础数据层(BDS)、融合信息层(CIS)、应用数据层(ADS)不同粒度的数据。

通过DG的数据模型,可以将数据对内外部系统开放。例如ADS层数据可进一步支撑客户洞察,根据规则生成客户群和标签信息,支撑数字化营销场景。还可以通过数据开放平台实现数据开放和数据变现。

此场景需要满足以下约束:

l   HadoopBDIDG已完成安装部署且正常运行。

l   CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。

l   融合数据模型需要的BODS层数据均已正确接入,核心字段不能为空。

l   数据模型审核完成,在Hadoop集群中已创建CDM模型对应的Hive物理表。

典型业务流程

运营商B域数据的处理流程如2-1所示。

图2-1 运营商B域数据的处理流程

20170104110325047002.png

 

处理流程说明如下:

1.         现场业务支撑人员将包括用户、客户、账务、产品、业务资源、计费清单、营销活动等B域业务数据从各源系统按照融合数据模型的接口规范接入到ODS层中。现场业务支撑人员需要通过DGBDI,创建对应的数据模型,配置数据导入流程,并将B域数据接入到物理模型对应的HDFS文件中。

2.         B域数据接入ODS后,现场业务支撑人员需要根据BDS要求接入的数据格式,梳理ODS层与BDS层之间的映射关系。

3.         现场业务支撑人员定制BDI流程,将ODS层数据接入BDS层。

4.         CDM通过BDI工具,按照业务时间进行小时汇总,并输出到CIS层的Hive表中。

5.         CDM通过BDI工具,按照业务时间进行日汇总。

6.         CDM通过BDI工具,按照业务时间进行月汇总。

7.         通过BDI工具,将用户业务使用月数据,输出到ADS层中的Hive表中,支撑客户洞察进行标签和客户群提取。


 

3 运营商O域数据处理

场景描述

运营商O域数据包括网络资源、网络信令、网络性能等网络域的数据。

运营商O域数据接入CDM生成原始数据层(ODS)数据,按照终端维度、基站/小区维度、用户维度等不同维度进行分层、分域、提炼和整合,通过过滤、合并、关联、联合、分组汇总、编码映射等一系列数据处理过程,生成基础数据层(BDS)和融合信息层(CIS)的数据。

通过DG的数据模型,可以将数据对内外部系统开放。例如CIS层数据可进一步支撑网络建设规划、网络优化等。还可以通过数据开放平台实现数据开放和数据变现。

此场景需要满足以下约束:

l   HadoopBDIDG已完成安装部署且正常运行。

l   CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。

l   确定信令采集厂商提供的接口规范、接口属性,融合数据模型需要的OODS层数据均已正确接入,核心字段不能为空。

l   数据模型审核完成,在Hadoop集群中已创建CDM模型对应的Hive物理表。

典型业务流程

运营商O域数据的处理流程如3-1所示。

图3-1 运营商O域数据的处理流程

20170104110325072003.png

 

处理流程说明如下:

1.         现场业务支撑人员将包括网络资源、网络信令、网络性能等O域业务数据从各源系统按照融合数据模型的接口规范接入到ODS层中。现场业务支撑人员需要通过DGBDI,创建对应的数据模型,配置数据导入流程,并将O域数据接入到物理模型对应的HDFS文件中。

2.         O域数据接入ODS后,现场业务支撑人员需要根据BDS要求接入的数据格式,梳理ODS层与BDS层之间的映射关系。

3.         现场业务支撑人员定制BDI流程,将ODS层数据接入BDS层。

4.         CDM通过BDI工具,按照业务时间进行小时汇总,并输出到CIS层的Hive表中。

5.         CDM通过BDI工具,按照业务时间进行日汇总。

6.         CDM通过BDI工具,按照业务时间进行月汇总,得到O域相关的月数据。

 

跳转到指定楼层
快速回复 返回顶部