|
目前梳理了三个场景：
- 互联网域数据处理
- 运营商B域数据处理
- 运营商O域数据处理
详细内容请见下文。
1 互联网域数据处理
场景描述
互联网域数据主要是指用户访问互联网网站或应用的上网日志，以及互联网上不同类别（如电商图书、音乐专题、用户搜索引擎等）的知识库资源。
用户的上网日志通过Corpus处理后，得到用户访问互联网的基础数据，并输出到融合数据模型的BDS层中。经过关联处理后，按照知识库类别和统计周期进行统计汇总，生成用户的上网行为统计数据。从而进一步分析用户的上网行为偏好，根据规则生成客户群和标签信息，支撑数字化营销场景。
此场景需要满足以下约束：
l Hadoop、BDI、DG已完成安装部署且正常运行。
l Corpus已经安装成功，且用户的上网日志已经接入Corpus，并且能够正常输出识别话单。
l CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。
l 数据模型审核完成，在Hadoop集群中已创建CDM模型对应的Hive物理表。
典型业务流程
互联网域数据的处理流程如图1-1所示。
图1-1 互联网域数据的处理流程
处理流程说明如下：
1. 现场业务支撑人员将Gn口话单按照Corpus的要求接入到Corpus中。
2. Corpus对话单进行离线标注输出到Hadoop的HDFS中。
3. 通过BDI工具，同步Corpus的离线标注结果、资源库和资源库元数据到CDM的BDS层对应的Hive表中。
4. CDM通过BDI工具，关联Corpus的离线标注结果和资源库，获取用户的互联网使用数据。
5. CDM通过BDI工具，按照业务时间进行小时汇总用户的互联网使用数据，并输出到CIS层的Hive表中。
6. CDM通过BDI工具，按照业务时间进行日汇总用户的互联网使用数据。
7. CDM通过BDI工具，按照业务时间进行月汇总用户的互联网使用数据。
8. 通过BDI工具，将用户互联网使用月数据，输出到ADS层中的Hive表中，支撑客户洞察进行标签和客户群提取。
2 运营商B域数据处理
场景描述
运营商B域数据包括用户、客户、账务、产品、业务资源、计费清单、营销活动等包含业务使用特征的数据。
运营商B域数据接入CDM生成原始数据层（ODS）数据，按不同的主题进行分层、分域、提炼和整合，通过过滤、合并、关联、联合、分组汇总、编码映射等一系列数据处理过程，生成基础数据层（BDS）、融合信息层（CIS）、应用数据层（ADS）不同粒度的数据。
通过DG的数据模型，可以将数据对内外部系统开放。例如ADS层数据可进一步支撑客户洞察，根据规则生成客户群和标签信息，支撑数字化营销场景。还可以通过数据开放平台实现数据开放和数据变现。
此场景需要满足以下约束：
l Hadoop、BDI、DG已完成安装部署且正常运行。
l CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。
l 融合数据模型需要的B域ODS层数据均已正确接入，核心字段不能为空。
l 数据模型审核完成，在Hadoop集群中已创建CDM模型对应的Hive物理表。
典型业务流程
运营商B域数据的处理流程如图2-1所示。
图2-1 运营商B域数据的处理流程
处理流程说明如下：
1. 现场业务支撑人员将包括用户、客户、账务、产品、业务资源、计费清单、营销活动等B域业务数据从各源系统按照融合数据模型的接口规范接入到ODS层中。现场业务支撑人员需要通过DG和BDI，创建对应的数据模型，配置数据导入流程，并将B域数据接入到物理模型对应的HDFS文件中。
2. B域数据接入ODS后，现场业务支撑人员需要根据BDS要求接入的数据格式，梳理ODS层与BDS层之间的映射关系。
3. 现场业务支撑人员定制BDI流程，将ODS层数据接入BDS层。
4. CDM通过BDI工具，按照业务时间进行小时汇总，并输出到CIS层的Hive表中。
5. CDM通过BDI工具，按照业务时间进行日汇总。
6. CDM通过BDI工具，按照业务时间进行月汇总。
7. 通过BDI工具，将用户业务使用月数据，输出到ADS层中的Hive表中，支撑客户洞察进行标签和客户群提取。
3 运营商O域数据处理
场景描述
运营商O域数据包括网络资源、网络信令、网络性能等网络域的数据。
运营商O域数据接入CDM生成原始数据层（ODS）数据，按照终端维度、基站/小区维度、用户维度等不同维度进行分层、分域、提炼和整合，通过过滤、合并、关联、联合、分组汇总、编码映射等一系列数据处理过程，生成基础数据层（BDS）和融合信息层（CIS）的数据。
通过DG的数据模型，可以将数据对内外部系统开放。例如CIS层数据可进一步支撑网络建设规划、网络优化等。还可以通过数据开放平台实现数据开放和数据变现。
此场景需要满足以下约束：
l Hadoop、BDI、DG已完成安装部署且正常运行。
l CDM预置的数据模型、BDI流程、系统参数、自定义函数、维表信息等预置数据已导入和配置完成。
l 确定信令采集厂商提供的接口规范、接口属性，融合数据模型需要的O域ODS层数据均已正确接入，核心字段不能为空。
l 数据模型审核完成，在Hadoop集群中已创建CDM模型对应的Hive物理表。
典型业务流程
运营商O域数据的处理流程如图3-1所示。
图3-1 运营商O域数据的处理流程
处理流程说明如下：
1. 现场业务支撑人员将包括网络资源、网络信令、网络性能等O域业务数据从各源系统按照融合数据模型的接口规范接入到ODS层中。现场业务支撑人员需要通过DG和BDI，创建对应的数据模型，配置数据导入流程，并将O域数据接入到物理模型对应的HDFS文件中。
2. O域数据接入ODS后，现场业务支撑人员需要根据BDS要求接入的数据格式，梳理ODS层与BDS层之间的映射关系。
3. 现场业务支撑人员定制BDI流程，将ODS层数据接入BDS层。
4. CDM通过BDI工具，按照业务时间进行小时汇总，并输出到CIS层的Hive表中。
5. CDM通过BDI工具，按照业务时间进行日汇总。
6. CDM通过BDI工具，按照业务时间进行月汇总，得到O域相关的月数据。
| 
发表于 2017-1-4 11:03:58
最新回复：2017-01-09 08:17:18