目前梳理了三个场景:
- 互联网域数据处理
- 运营商B域数据处理
- 运营商O域数据处理
详细内容请见下文。
1 互联网域数据处理
场景描述
互联网域数据主要是指用户访问互联网网站或应用的上网日志,以及互联网上不同类别(如电商图书、音乐专题、用户搜索引擎等)的知识库资源。
用户的上网日志通过Corpus处理后,得到用户访问互联网的基础数据,并输出到融合数据模型的BDS层中。经过关联处理后,按照知识库类别和统计周期进行统计汇总,生成用户的上网行为统计数据。从而进一步分析用户的上网行为偏好,根据规则生成客户群和标签信息,支撑数字化营销场景。
此场景需要满足以下约束:
l Hadoop、BDI、DG已完成安装部署且正常运行。
l Corpus已经安装成功,且用户的上网日志已经接入Corpus,并且能够正常输出识别话单。
l CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。
l 数据模型审核完成,在Hadoop集群中已创建CDM模型对应的Hive物理表。
典型业务流程
互联网域数据的处理流程如图1-1所示。
图1-1 互联网域数据的处理流程

处理流程说明如下:
1. 现场业务支撑人员将Gn口话单按照Corpus的要求接入到Corpus中。
2. Corpus对话单进行离线标注输出到Hadoop的HDFS中。
3. 通过BDI工具,同步Corpus的离线标注结果、资源库和资源库元数据到CDM的BDS层对应的Hive表中。
4. CDM通过BDI工具,关联Corpus的离线标注结果和资源库,获取用户的互联网使用数据。
5. CDM通过BDI工具,按照业务时间进行小时汇总用户的互联网使用数据,并输出到CIS层的Hive表中。
6. CDM通过BDI工具,按照业务时间进行日汇总用户的互联网使用数据。
7. CDM通过BDI工具,按照业务时间进行月汇总用户的互联网使用数据。
8. 通过BDI工具,将用户互联网使用月数据,输出到ADS层中的Hive表中,支撑客户洞察进行标签和客户群提取。
2 运营商B域数据处理
场景描述
运营商B域数据包括用户、客户、账务、产品、业务资源、计费清单、营销活动等包含业务使用特征的数据。
运营商B域数据接入CDM生成原始数据层(ODS)数据,按不同的主题进行分层、分域、提炼和整合,通过过滤、合并、关联、联合、分组汇总、编码映射等一系列数据处理过程,生成基础数据层(BDS)、融合信息层(CIS)、应用数据层(ADS)不同粒度的数据。
通过DG的数据模型,可以将数据对内外部系统开放。例如ADS层数据可进一步支撑客户洞察,根据规则生成客户群和标签信息,支撑数字化营销场景。还可以通过数据开放平台实现数据开放和数据变现。
此场景需要满足以下约束:
l Hadoop、BDI、DG已完成安装部署且正常运行。
l CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。
l 融合数据模型需要的B域ODS层数据均已正确接入,核心字段不能为空。
l 数据模型审核完成,在Hadoop集群中已创建CDM模型对应的Hive物理表。
典型业务流程
运营商B域数据的处理流程如图2-1所示。
图2-1 运营商B域数据的处理流程

处理流程说明如下:
1. 现场业务支撑人员将包括用户、客户、账务、产品、业务资源、计费清单、营销活动等B域业务数据从各源系统按照融合数据模型的接口规范接入到ODS层中。现场业务支撑人员需要通过DG和BDI,创建对应的数据模型,配置数据导入流程,并将B域数据接入到物理模型对应的HDFS文件中。
2. B域数据接入ODS后,现场业务支撑人员需要根据BDS要求接入的数据格式,梳理ODS层与BDS层之间的映射关系。
3. 现场业务支撑人员定制BDI流程,将ODS层数据接入BDS层。
4. CDM通过BDI工具,按照业务时间进行小时汇总,并输出到CIS层的Hive表中。
5. CDM通过BDI工具,按照业务时间进行日汇总。
6. CDM通过BDI工具,按照业务时间进行月汇总。
7. 通过BDI工具,将用户业务使用月数据,输出到ADS层中的Hive表中,支撑客户洞察进行标签和客户群提取。
3 运营商O域数据处理
场景描述
运营商O域数据包括网络资源、网络信令、网络性能等网络域的数据。
运营商O域数据接入CDM生成原始数据层(ODS)数据,按照终端维度、基站/小区维度、用户维度等不同维度进行分层、分域、提炼和整合,通过过滤、合并、关联、联合、分组汇总、编码映射等一系列数据处理过程,生成基础数据层(BDS)和融合信息层(CIS)的数据。
通过DG的数据模型,可以将数据对内外部系统开放。例如CIS层数据可进一步支撑网络建设规划、网络优化等。还可以通过数据开放平台实现数据开放和数据变现。
此场景需要满足以下约束:
l Hadoop、BDI、DG已完成安装部署且正常运行。
l CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。
l 确定信令采集厂商提供的接口规范、接口属性,融合数据模型需要的O域ODS层数据均已正确接入,核心字段不能为空。
l 数据模型审核完成,在Hadoop集群中已创建CDM模型对应的Hive物理表。
典型业务流程
运营商O域数据的处理流程如图3-1所示。
图3-1 运营商O域数据的处理流程

处理流程说明如下:
1. 现场业务支撑人员将包括网络资源、网络信令、网络性能等O域业务数据从各源系统按照融合数据模型的接口规范接入到ODS层中。现场业务支撑人员需要通过DG和BDI,创建对应的数据模型,配置数据导入流程,并将O域数据接入到物理模型对应的HDFS文件中。
2. O域数据接入ODS后,现场业务支撑人员需要根据BDS要求接入的数据格式,梳理ODS层与BDS层之间的映射关系。
3. 现场业务支撑人员定制BDI流程,将ODS层数据接入BDS层。
4. CDM通过BDI工具,按照业务时间进行小时汇总,并输出到CIS层的Hive表中。
5. CDM通过BDI工具,按照业务时间进行日汇总。
6. CDM通过BDI工具,按照业务时间进行月汇总,得到O域相关的月数据。
|