权限原则与约束

• HetuEngine访问同集群数据源。

  HetuEngine启用Ranger鉴权，则统一使用Ranger的PBAC权限策略做鉴权。

  HetuEngine停用Ranger鉴权，则统一使用MetaStore的RBAC权限策略做鉴权。

  Drop Table需要拥有Drop Table权限且是表的Owner。

• HetuEngine访问跨集群数据源。

  同时受HetuEngine端权限和数据源端权限管控（Hive场景下，依赖于HDFS）。

• 查询视图时，仅需给目标视图授予select权限即可；使用视图联表查询时，需要同时给两者授予select权限。
• 不支持GaussDB和HetuEngine数据源列脱敏。

HetuEngine服务在切换权限控制类型时，需要重启整个HetuEngine服务，包括HSConsole页面上正在运行的HetuEngine计算实例。

HetuEngine基于Ranger权限管控

新安装集群默认采用Ranger进行鉴权，对于历史版本升级集群或者手动停用了Ranger鉴权的集群，可参考如下操作重新启用Ranger鉴权。

启用Ranger鉴权的集群，管理员可通过Ranger为HetuEngine用户配置操作数据源的数据库、表、列的管理权限，详情请参考添加HetuEngine的Ranger访问权限策略。

1. 登录FusionInsight Manager。
2. 选择“集群 > 服务 > HetuEngine > 更多 > 启用Ranger鉴权”。

   集群未启用Kerberos认证（普通模式）时使用Ranger权限管控，需在“集群 > 服务 > Ranger > 配置 > 全部配置”中搜索参数“ranger.usersync.sync.source”，确保其值为“ldap”，否则修改为“ldap”（修改配置后需保存并重启Ranger）。

3. 选择“集群 > 服务 > HetuEngine > 更多 > 重启服务”。
4. 在HSConsole页面重启计算实例，具体请参见管理HetuEngine计算实例。

HetuEngine基于MetaStore权限管控

• 约束：只适用于Hive类型数据源。

  HetuEngine多个集群组网进行协同计算时，元数据由管理集群集中管理，计算在所有集群进行，访问HetuEngine集群用户的权限需要在管理集群进行配置，并在所有计算实例添加拥有Hive用户组权限的同名用户。

• 启用MetaStore鉴权
  1. 登录FusionInsight Manager。
  2. 选择“集群 > 服务 > HetuEngine > 更多 > 停用Ranger鉴权”。
  3. 选择“集群 > 服务 > HetuEngine > 更多 > 重启服务”。
  4. 在HSConsole页面重启计算实例。
• MetaStore权限

  类似于Hive，HetuEngine也是建立在Hadoop上的数据仓库框架，提供类似SQL的结构化数据。

  集群中的各类权限需要先授予角色，然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组，才能获得权限。

  HetuEngine的权限管理是指HetuEngine中管理用户操作数据库的权限系统，以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等，需要获取相应的权限才能进行操作，否则会被拒绝。

  HetuEngine权限管理部分集成了Hive权限管理的功能。使用HetuEngine权限管理功能需要使用Hive的MetaStore服务和页面上的赋权功能。

  • 页面赋权：HetuEngine仅支持页面赋权的方式。在Manager的“系统 > 权限”中，可以进行用户、用户组和角色的添加/删除操作，可以对某个角色进行赋权/撤权。
  • 服务获权并判断：当接收到客户端的DDL、DML的SQL命令时，HetuEngine服务会向MetaStore服务获取客户端用户对数据库信息的已有权限，并检查是否包含了所需的所有权限，如果是则继续执行，否则拒绝该用户的操作。当通过了MetaStore的权限检查后，还需进行HDFS的ACLs权限检查。
• HetuEngine权限模型

  用户使用HetuEngine服务进行SQL操作，必须对HetuEngine数据库和表（含外表和视图）拥有相应的权限。完整的HetuEngine权限模型由元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是HetuEngine权限模型中的一种。

  • 元数据权限

    元数据权限即在元数据层上进行权限控制，与传统关系型数据库类似，HetuEngine数据库包含“建表”和“查询”权限，表和列包含“查询”、“插入”、“UPDATE”和“删除”权限。HetuEngine中还包含拥有者权限“OWNERSHIP”和集群管理员权限“ADMIN”。

  • 数据文件权限，即HDFS文件权限

    HetuEngine的数据库、表对应的文件保存在HDFS中。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。系统自动以数据库名称和数据库中表的名称创建子目录。访问数据库或者表，需要在HDFS中拥有对应文件的权限，包含“读”、“写”和“执行”权限。

  用户对HetuEngine数据库或表执行不同操作时，需要关联不同的元数据权限与HDFS文件权限。例如，对HetuEngine数据表执行查询操作，需要关联元数据权限“查询”，以及HDFS文件权限“读”和“执行”。

  使用FusionInsight Manager界面图形化的角色管理功能来管理HetuEngine数据库和表的权限，只需要设置元数据权限，系统会自动关联HDFS文件权限，减少界面操作，提高效率。

• HetuEngine使用场景及对应权限

  用户通过HetuEngine服务创建数据库需要加入Hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。

  如果用户访问别人创建的表或数据库，需要授予权限。所以根据HetuEngine使用场景的不同，用户需要的权限可能也不相同。

  表2-763 HetuEngine使用场景

  主要场景	用户需要的权限
  使用HetuEngine表、列或数据库	使用其他用户创建的表、列或数据库，不同的场景需要不同的权限，例如： 创建表，需要“建表”权限。 查询数据，需要“查询”权限。 插入数据，需要“插入”权限。

  在一些特殊HetuEngine使用场景下，需要单独设置其他权限。

  表2-764 HetuEngine授权注意事项

  场景	用户需要的权限
  创建HetuEngine数据库、表、外表，或者为已经创建的表或外表添加分区，且Hive用户指定数据文件保存在“/user/hive/warehouse”以外的HDFS目录。	需要此目录已经存在，客户端用户是目录的属主，且用户对目录拥有“读”、“写”和“执行”权限。同时用户对此目录上层的每一级目录都拥有“读”和“执行”权限。
  操作Hive中所有的数据库和表。	需加入到supergroup用户组，并且授予“ADMIN”权限。

• 配置表、列和数据库的权限

  启用MetaStore鉴权后，使用HetuEngine操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，HetuEngine也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。

  • 在权限管理中，为了方便用户使用，授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题，取消表的任意权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。
  • 若为角色添加或删除数据库的查询权限，数据库中的表也将自动添加或删除查询权限。此机制为Hive实现，HetuEngine与Hive保持一致。
  • HetuEngine不支持struct数据类型中列名称含有特殊字符（除字母、数字、下划线外的其他字符）。如果struct类型中列名称含有特殊字符，在FusionInsight Manager的“角色”页面进行授权时，该列将无法正确显示。

  操作步骤：

  1. 登录FusionInsight Manager页面。
  2. 选择“系统 > 权限 > 角色”。
  3. 单击“添加角色”，输入“角色名称”和“描述”。
  4. 在“配置资源权限”列表，选择“集群 > Hive”，设置角色权限，请参见表2-765。
     • “Hive管理员权限”：Hive管理员权限。
     • “Hive读写权限”：Hive数据表管理权限，可设置与管理已创建的表的数据操作权限。
     • Hive角色管理支持授予管理员权限、访问表和视图的权限，不支持数据库的授权。
     • Hive管理员权限不支持管理HDFS的权限。
     • 如果数据库中的表或者表中的文件数量比较多，在授权时可能需要等待一段时间。例如表的文件数量为1万时，可能需要等待2分钟。
     表2-765 设置角色

     任务场景	角色授权操作
     设置在默认数据库中，查询其他用户表的权限	在“视图名称”的表格中单击“Hive读写权限”。 在数据库列表中单击指定的数据库名称，显示数据库中的表。 在指定表的“权限”列，勾选“查询”。
     设置在默认数据库中，导入数据到其他用户表的权限	在“视图名称”的表格中单击“Hive读写权限”。 在数据库列表中单击指定的数据库名称，显示数据库中的表。 在指定表的“权限”列，勾选“删除”和“插入”。

  5. 单击“确定”完成，返回“角色”页面。

     角色创建完成后，可参考创建HetuEngine权限角色创建HetuEngine用户，并为其赋予相关角色权限。

  SQL语句在HetuEngine中进行处理对应的权限要求如表2-766所示。

  表2-766 使用HetuEngine表、列或数据

  操作场景	用户需要的权限
  DESCRIBE TABLE	查询（Select）
  ANALYZE TABLE	查询（Select）、插入（Insert）
  SHOW COLUMNS	查询（Select）
  SHOW TABLE STATUS	查询（Select）
  SHOW TABLE PROPERTIES	查询（Select）
  SELECT	查询（Select）
  EXPLAIN	查询（Select）
  CREATE VIEW	查询（Select）、Select授权（Grant Of Select）、建表（Create）
  CREATE TABLE	建表（Create）
  ALTER TABLE ADD PARTITION	插入（Insert）
  INSERT	插入（Insert）
  INSERT OVERWRITE	插入（Insert）、删除（Delete）
  ALTER TABLE DROP PARTITION	需要授予Table级别的修改（Alter）、删除（Delete）和Column级别的查询（Select）权限
  ALTER DATABASE	Hive管理员权限（Hive Admin Privilege）

操作场景

安全模式的集群，在使用HetuEngine服务前，需集群管理员创建用户并指定其操作权限以满足业务使用需求。

HetuEngine用户分为管理员用户和普通用户，系统默认的HetuEngine管理员用户组为“hetuadmin”，HetuEngine普通用户对应用户组为“hetuuser”。

• 关联了“hetuadmin”用户组的用户可获得HetuEngine的HSConsole WebUI界面和HetuEngine计算实例WebUI的运维管理员权限。
• 关联了“hetuuser”用户组的用户可获得SQL执行权限。可以访问HSConsole WebUI界面，查看当前用户关联租户的集群信息以及所有数据源的基本信息，可以访问计算实例的WebUI界面，并对当前用户的SQL有查询和运维的权限。

启用了Ranger鉴权时，如果用户创建后需要继续为用户配置操作数据源的数据库、表、列的管理权限，请参考添加HetuEngine的Ranger访问权限策略。

前提条件

在使用HetuEngine服务请确保已提前规划并创建HetuEngine用户待关联的租户，MRS集群中租户的创建与使用可参考租户资源。

操作步骤

创建具有“DROP、TRUNCATE、DELETE、INSERT OVERWRITE、LOAD OVERWRITE”操作权限的用户，需创建对应用户回收站目录清理策略，可参考《MapReduce服务(MRS) 3.5.1-LTS 使用指南(for 华为云Stack 8.5.1)》中《MapReduce服务(MRS) 3.5.1-LTS 用户指南(for 华为云Stack 8.5.1)》的“存算分离操作指导”章节的“配置回收站清理策略”部分。

创建HetuEngine管理员用户

1. 登录FusionInsight Manager。
2. 选择“系统 > 权限 > 用户 > 添加用户”。
3. 填写“用户名”，例如“hetu_admin”。
4. 设置“用户类型”，选择“人机”。
5. 填写“密码”和“确认新密码”。
6. 在“用户组”，单击“添加”，为该用户添加“hive”、“hetuadmin”、“hadoop”、“hetuuser”、“yarnviewgroup”用户组。
7. 在“主组”下拉列表，选择“hive”作为主组。
8. 在“角色”，单击“添加”，为该用户绑定“default”、“System_administrator”以及待关联的租户角色权限。
9. 单击“确定”，完成HetuEngine管理员用户创建。

创建HetuEngine普通用户

1. 登录FusionInsight Manager。
2. 选择“系统 > 权限 > 用户 > 添加用户”。
3. 填写“用户名”，例如“hetu_test”。
4. 设置“用户类型”，选择“人机”。
5. 填写“密码”和“确认新密码”。
6. 在“用户组”，单击“添加”，为该用户添加“hetuuser”用户组。
7. 在“角色”，单击“添加”，为该用户绑定“default”或者待关联的租户角色权限。
8. 单击“确定”，完成HetuEngine普通用户创建。

启用了Ranger鉴权时，如果用户创建后需要继续为用户配置操作数据源的数据库、表、列的管理权限，请参考添加HetuEngine的Ranger访问权限策略。

操作场景

本章节指导用户从零开始使用HetuEngine对接外部LDAP，实现账号密码认证。

约束与限制

• 该功能仅集群未启用Kerberos认证（普通模式）支持。
• HetuEngine只允许配置对接一个外部LDAP。
• 需要在FusionInsight Manager的“系统 > 权限 > 用户”界面上创建一个外部LDAP中已存在的同名用户，例如“hetu_test”，并添加“hetuuser”用户组，该用户用于提交SQL请求。

操作步骤

1. 登录FusionInsight Manager页面，选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”，参考表 对接外部LDAP参数配置对接外部LDAP参数。
   表2-767 对接外部LDAP参数

   参数名称	默认值	建议值	参数解释	参数文件
   http-server.authentication.type	NONE	PASSWORD	为Coordinator配置身份验证类型列表。 NONE：不认证。 PASSWORD：基于LDAP的密码认证。	coordinator.config.properties
   ldap.allow-insecure	true	-	允许使用不受TLS保护的LDAP连接。 true：使用非SSL方式连接LDAP。 false：使用SSL方式连接LDAP。	password-authenticator.properties
   ldap.ssl.truststore.password	-	-	PEM或JKS信任文件的密码。	password-authenticator.properties
   ldap.ssl.truststore.path	-	-	PEM或JKS信任文件存储的路径。	password-authenticator.properties
   ldap.timeout.connect	5000ms	5000ms	建立LDAP连接的超时时长（单位：毫秒）。小于或等于零的整数表示使用网络协议的（即TCP的）超时值。	password-authenticator.properties
   ldap.timeout.read	5000ms	5000ms	从LDAP连接读取数据的超时时长（单位：毫秒）。小于或等于零的整数意味着没有指定读取超时，相当于无限等待响应，直到接收到它。	password-authenticator.properties
   ldap.url	-	-	LDAP服务器的URL。 URL的“scheme”必须为“ldap://”或“ldaps://”，例如ldap://ds.example.com:389或ldaps://ds.example.com:636。 连接到未启用TLS的LDAP服务器时需要设置参数“ldap.allow-insecure”的值为“true”。	password-authenticator.properties
   ldap.user-bind-pattern	-	-	此属性可用于指定密码验证的LDAP用户绑定字符串。此属性必须包含模式${USER}，在密码验证时将替换为实际用户名。 属性可以包含多个模式，以冒号分隔。每个模式将按顺序检查，直到登录成功或所有登录失败。示例：${USER}@corp.example.com:${USER}@corp.example.co.uk	password-authenticator.properties

2. 单击左上方的“保存”，在弹出的对话框中单击“确定”保存配置。
3. 选择“集群 > 服务 > HetuEngine > 更多 > 重启服务”，重启HetuEngine服务以便参数生效。
4. 若存在运行中的计算实例需重启HetuEngine计算实例。
   1. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 概览”，单击“HSConsole WebUI”后面的链接，进入HSConsole界面。
   2. 单击“计算实例”，勾选待操作实例，单击“重启”按钮重启HetuEngine计算实例。

5. 使用客户端提交SQL请求。
   • Cli客户端，需要刷新Zookeeper URL地址串的“scheme”为“https”。具体操作步骤如下：
     1. 修改客户端安装路径下“HetuEngine/component_env“文件中“HETUSERVER_URI“参数的“http”为“https”。
     2. 进入客户端安装路径，执行source HetuEngine/component_env命令。
     3. 输入hetu-cli --tenant default --user hetu_test --password命令，回车后填写外部LDAP用户hetu_test的密码即可。
   • JDBC客户端，需要添加如下连接参数：

     SSL=true

     hetuSSL=false

     SSLVerification=NONE

     user=LDAP用户的名称，例如hetu_test

     password=LDAP用户的密码

   • Python客户端，需要添加如下连接参数：

     SSL=true

     hetuSSL=false

     SSLVerification=NONE

     user=LDAP用户的名称，例如hetu_test

     password=LDAP用户的密码

操作场景

通过MRS Ranger配置HetuEngine脱敏信息，HetuEngine支持的动态脱敏包括查询和写入场景：

• 配置脱敏后，查询表时配置脱敏的列数据将进行自动脱敏。配置脱敏的列能正常进行谓词匹配，仅对输出结果进行脱敏。
• 配置脱敏的列能正常做联合查询（Join、Union、In、Exist等），仅对最后的输出结果进行脱敏。
• 通过View引用的脱敏列信息，查询View后，数据也是脱敏的。
• 配置脱敏后，对应函数计算、函数嵌套、以及子查询嵌套的查询结果脱敏。
• 支持查询使用别名、CTS使用别名时脱敏。
• CTS（create table as select）后新表数据自动脱敏。

  如果数据源为本集群Hive数据源，则数据本身不脱敏，脱敏策略传递后（仅支持本集群Hive数据源），查询结果脱敏；其他数据源数据脱敏后输出。

• ITS（insert table select）后新表数据支持脱敏。

  如果数据源为本集群Hive数据源，则数据本身不脱敏，脱敏策略传递后（仅支持本集群Hive数据源），查询结果脱敏；其他数据源数据脱敏后输出。

传递脱敏策略：

• 若目标表对应列没有脱敏策略，则直接传递脱敏策略。
• 若目标表已有脱敏策略，且与源表相同，则脱敏策略不变。
• 若目标表已有脱敏策略且与源表有冲突，则目标表脱敏策略会重置为“***”。

注意事项与使用限制

• 动态脱敏仅支持在安全模式集群中使用。
• 当前Ranger配置CUSTOM自定义策略时，动态脱敏按照“*”策略处理，例如“ABCDE”脱敏为“*****”。
• 由于Ranger策略更新检测周期为30s，执行CTS等语句如果涉及到传递策略，在Ranger新建的策略存在一定的延迟。
• 跨域场景下，对端HetuEngine作为本端的数据源，如果需要脱敏需在本端集群配置脱敏策略。
• 由于查询视图时，实际访问表的是视图owner，所以在为敏感数据表创建视图时，需要对创建视图的用户脱敏。

开启动态脱敏操作步骤

1. 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
2. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
3. 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”。
4. 在“自定义配置”单击“增加”添加如下参数。
   表2-768 HetuEngine动态脱敏参数

   参数	取值示例	参数文件	描述
   hetu.dynamic.masked.enabled	true	coordinator.config.properties worker.config.properties	开启HetuEngine动态脱敏功能 默认值：false

5. 添加完成后将“立即启动”置为“是”，单击“确定”。
6. 开启动态脱敏策略传递功能。
   1. 单击“数据源”，在数据源名称为“hive”的本地数据源的“操作”列，单击“编辑”。
   2. 在“自定义配置”单击“增加”，添加参数“hive.dynamic.masked.policy.sync.enabled”，值为“true”，单击“确定”。
      • 动态脱敏与静态脱敏均基于Ranger配置的脱敏策略，需要开启HetuEngine服务的Ranger功能。
      • Ranger脱敏策略介绍以及配置方法见HetuEngine数据脱敏。

特性说明

• HetuEngine动态脱敏后返回字段类型与输出列的schema类型一致，无法保持一致的使用null表示脱敏后的结果。

• 支持不脱敏UDF名单和强制hash脱敏UDF名单配置。

  参数名称	说明	默认值
  hetu.udf.hash.dynamic.mask	开启动态脱敏后，使用Partial mask: show last 4、Partial mask: show first 4、Custom脱敏策略脱敏时，需要强制使用hash脱敏处理的函数名单。如果有多个函数需要强制使用hash脱敏处理，则以英文逗号隔开。	substr,substring,concat,concat_ws,lpad,repeat,rpad,reverse,replace,split
  hetu.udf.skip.dynamic.mask	开启动态脱敏后，不需要脱敏处理的函数名单。如果有多个函数不需要脱敏处理，则以英文逗号隔开。	-

  “hetu.udf.skip.dynamic.mask”的优先级大于“hetu.udf.hash.dynamic.mask”。如果一个函数名同时配置在“hetu.udf.skip.dynamic.mask”和“hetu.udf.hash.dynamic.mask”中时，会按照“hetu.udf.skip.dynamic.mask”逻辑处理，不进行脱敏处理。

• Custom脱敏策略支持配置mask_partial函数：
  mask_partial函数介绍

  • 处理数值类型的mask_partial说明。

    mask_partial(column_name, mask_digital, mask_from[, mask_to])

    描述：针对数值类型数据（int、decimal、float、bigint、tinyint、smallint、double），将第mask_from到mask_to位的数字部分脱敏成mask_digital对应的数字。

    表2-769 参数说明1

    参数	说明
    mask_to	允许缺省，缺省时即脱敏到数据结束位置。
    mask_digital	只能取[1,9]区间内的数字。

    返回值类型：与入参column_name数据类型相同。

    • 对于decimal、float、double类型，小数点参与计数，但不参与脱敏。如：列内容为:3.1415926，mask_partial('2',1,3），返回值：2.2415926。
    • Spark-beeline场景下，使用mask_partial对decimal脱敏后，结果会不符合预期，但结果是脱敏的，非原始值。
  • 处理字符类型的mask_partial说明。

    mask_partial(column_name , mask_char, mask_from[, mask_to])

    描述：针对字符类型数据（char, varchar, string），对照指定的输入输出格式，将第mask_from到mask_to位的数字部分脱敏成mask_char指定的字符。

    表2-770 参数说明2

    参数	说明
    mask_char	脱敏字符，仅允许长度为1的任意字符。支持字符范围： 大写字母：A, B, C, D, E, ..., Z 小写字母：a, b, c, d, e, ..., z 阿拉伯数字：0, 1, 2, 3, 4, 5, 6, 7, 8, 9 标点符号：句号（.）、逗号（,）、问号（?）、感叹号（!）、冒号（:）、分号（;）、引号（"）、括号（( 或 )，[ 或 ]，{ 或 }）、连字符（-） 特殊符号：@ 符号 (@)、井号 (#)、美元符号 ($)、百分号 (%)、和号 (&)、星号 (*)、加号 (+)、等号 (=)、波浪号 (~)、下划线 (_)、竖线 (|)
    mask_from	脱敏范围的起始位置，要求大于0。
    mask_to	脱敏范围的结束位置，允许缺省。缺省时，即脱敏到原始数据结束位置。

    返回值类型：与入参column_name数据类型相同。

• 处理时间类型的mask_partial说明。

  mask_partial(column_name, mask_digital, mask_from[, mask_to])

  描述：针对时间类型数据（Date、TimeStamp），将第mask_from到mask_to位的数字部分脱敏成mask_digital对应的数字。

  表2-771 参数说明3

  参数	说明
  mask_to	允许缺省，缺省时即脱敏到数据结束位置。
  mask_digital	只能取[1,9]区间内的数字。

  返回值类型：与入参column_name数据类型相同。

  1. Date只支持年、月、日的脱敏。
  2. TimeStamp支持年、月、日、时、分、秒、毫秒/微秒/纳秒的脱敏。
     • Date、TimeStamp中的“-”、“/”、空格、“:”参与计数，不脱敏。
     • Date、TimeStamp中，月、日的值脱敏后超过正常范围后将进行反转处理，例如：

       月的值为02，脱敏后为33，最终值为33%12=9。

       日的值为10，脱敏后为44，最终值为44% (脱敏后的年对应的脱敏后的月的天数) , 假设脱敏后的年为2024，脱敏后的月为9(2024年9月有30天)， 最终值为14。

  3. TimeStamp中的时、分、秒、毫秒/微秒/纳秒脱敏后，超过正常范围后，也进行反转处理。
     • 时的值为20，脱敏后为66，最终值为66%24=18。
     • 分的值为30，脱敏后为66，最终值为66%60=6。
     • 秒的值为50，脱敏后为66，最终值为66%60=6。
     • 毫秒/微秒/纳秒不涉及超出正常值范围场景。

       例如：

       date类型脱敏：值为1920-01-03，使用mask_partial('2',5,8)脱敏后，结果为1920-10-03。

       TimeStamp类型脱敏：值为'2023-12-05 12:34:56.789' ，使用mask_partial('2',5,8)脱敏后，结果为'2023-10-05 12:34:56.789'。

  mask_partial使用约束与限制说明

  • MRS mask_partial的入参中不支持嵌套UDF。
  • mask_partial遇到数值、字符、时间之外的不支持的类型时，统一返回null。
  • mask_from从1开始计数，即mask_from要求是大于0的整数，小于1时，默认按照1处理。
  • mask_to可以不填，不填时，默认为对应字符的结束位置，mask_to可以为负数，-1表示字符的结束位置。
  • mask_to对应字符串的位置不能在mask_from之前，遇到该情况时，统一返回null。
  • mask_partial处理类型为数值类型时， mask_digital不属于[1,9]区间内的数字时，UDF函数返回null。
  • mask_partial处理类型为字符类型时， mask_char不支持该字符类型时，UDF函数返回null。
  • 遇到mask_partial编写错误、入参不支持、入参有误场景， 引擎直接发生异常。
  • 支持中文字符的脱敏。

  mask_partial使用介绍

  在ranger上配置脱敏策略，Mask Conditions选择Custom，在自定义输入框中填写mask_partial(mask_digital, mask_from[, mask_to])，其中mask_digital需要使用单引号括起来，如'9'、'*'。

  例如：mask_partial('*',1,5)

  Mask Conditions选择Custom，配置mask_partial脱敏函数时，第一个入参不需要指定列名，直接从mask_partial函数介绍中的第二个入参开始填写。

HetuEngine跨源功能简介

出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。

HetuEngine提供了统一标准SQL实现跨源协同分析，简化跨源分析操作。

图2-253 HetuEngine跨源功能示意

跨源关键技术和优势

• 计算下推：在通过HetuEngine进行跨源协同分析时，为了提升访问效率，HetuEngine从如下所示维度增强了计算下推的能力。
  • Basic Pushed Down类型：Predicate、Projection、Sub-query、Limit。
  • Aggregation Pushed Down类型：Group by、Order by、Count、Sum、Min、Max。
  • Operator Pushed Down类型：<, >、Like、or。

跨源功能使用指导

HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面，可通过HSConsole界面快速添加如下数据源，配置数据源前请先参考HetuEngine交互查询引擎概述：

• 添加Hive数据源
• 添加Hudi数据源
• 添加ClickHouse数据源
• 添加Elasticsearch数据源
• 添加GAUSSDB数据源
• 添加HBase数据源
• 添加跨集群HetuEngine数据源
• 添加IoTDB数据源
• 添加MySQL数据源

使用跨源协同分析流程

1. 参考快速使用HetuEngine访问Hive数据源登录HetuEngine客户端。
2. 注册Hive、HBase、GaussDB A等数据源。

   hetuengine> show catalogs;
     Catalog  
   ----------  
   dws                
   hive         
   hive_dg
   hbase
   system       
   systemremote 
   (6 rows)

3. 编写SQL进行跨源协同分析。

   select * from hive_dg.schema1.table1 t1 join hbase.schema3.table3 t2 join dws.schema02.table4 t3 on t1.name = t2.item and t2.id = t3.cardNo;

HetuEngine跨域功能简介

HetuEngine提供统一标准SQL对分布于多个地域（或数据中心）的多种数据源实现高效访问，屏蔽数据在结构、存储及地域上的差异，实现数据与应用的解耦。

图2-254 HetuEngine跨域功能示意

跨域关键技术和优势

• 无单点瓶颈：HSFabric可进行水平扩展，多通道并行传输，速率最大化，跨地域延迟不再成为瓶颈。
• 更好地计算资源利用：将数据压缩，序列化的任务下推到Worker并行计算。
• 高效序列化：优化数据序列化格式，同等数据量级下，更低的数据传输量。
• 流式传输：基于HTTP 2.0 stream, 保证HTTP协议通用性的同时，减少大量数据传输中RPC重复调用。
• 断点续传：防止数据传输过程中连接异常断开后重传大量数据。
• 流量管控：支持按地区限制数据传输所占用的网络带宽，避免在跨地域有限带宽场景下因流量独占而影响其他业务的正常使用。

跨域功能使用指导

前提条件：

• 确保本端和远端集群的数据节点上分别部署至少一个HSFabric实例。
• 确保本端和远端集群的HSFabric实例所在节点的网络互通。

操作步骤：

1. 开放本域数据源。通过创建Virtual Schema方式来对远端访问请求屏蔽本域的物理数据源的真实Schema信息、实例信息，远端使用Virtual Schema名称即可访问本域对应的数据源。

   CREATE VIRTUAL SCHEMA hive01.vschema01 WITH (
     catalog = 'hive01',
     schema = 'ins1'
   );

2. 参考添加跨集群HetuEngine数据源，在远端HetuEngine上注册“HetuEngine”类型数据源，添加本域HetuEngine。
3. 使用跨域协同分析。

   // 1. 在远端HetuEngine上开放hive1.ins2数据源
   CREATE VIRTUAL SCHEMA hive1.vins2 WITH (
     catalog = 'hive1',
     schema = 'ins2'
   );
   
   // 2. 在本域HetuEngine上注册Hive、GaussDB A、HetuEngine等3种数据源
   hetuengine> show catalogs;
     Catalog  
   ----------  
   dws        
   hetuengine_dc          
   hive         
   hive_dg
   system       
   systemremote 
   (6 rows)
   
   // 3. 在本域HetuEngine上进行跨源协同分析
   select * from hive_dg.schema1.table1 t1 join hetuengine_dc.vins2.table3 t2 join dws.schema02.table4 t3 on t1.name = t2.item and t2.id = t3.cardNo;

跨域限流功能使用指导

1. 在本地配置HSFabric限流策略配置文件“ratelimit.xml”，配置模板如下：

   <?xml version="1.0" encoding="UTF-8" standalone="yes"?>
   <ratelimit>
   	<current-domain>0755</current-domain><!-- city a本域数据源的区域名称 -->
   	<default-bandwidth>5120</default-bandwidth><!-- 默认限制流量为50MB -->
   	<domain-list>
   		<domain>
   			<domainName>0769</domainName><!--目的域数据源信息的区域名称 -->
   			<bandwidth>102400</bandwidth><!-- 从当前域（例如city a）到目的域（例如city b）方向的流量（单位：KB）为100MB -->
   			<cluster-list>
   				<hsfabric><!-- 一个HSFabric Cluster -->
   					<clusterName>hsfabric01</clusterName><!-- 集群描述信息 -->
   					<hsfabric-node>
   						<hsfabricHostPort>10.10.10.10:29900</hsfabricHostPort><!-- 填写HSFabric的传输IP -->
   					</hsfabric-node>
   				</hsfabric>
   			</cluster-list>
   		</domain>
   		<domain>
   			<domainName>0770</domainName>
   			<bandwidth>20480</bandwidth><!-- 从当前域（例如city a）到目的域（例如city b）方向的流量（单位：KB）为20MB -->
   			<cluster-list>
   				<hsfabric><!-- 一个HSFabric Cluster -->
   					<clusterName>hsfabric02</clusterName>
   					<hsfabric-node>
   						<hsfabricHostPort>10.10.10.10:29900</hsfabricHostPort>
   					</hsfabric-node>
   				</hsfabric>
   			</cluster-list>
   		</domain>
   	</domain-list>
   </ratelimit>

   表2-777 “ratelimit.xml”文件参数说明

   参数名称	描述	取值样例
   current-domain	本域数据源区域名称	0755
   default-bandwidth	默认限制流量大小（单位：KB）	5120
   domainName	目的域数据源信息的区域名称	0769
   bandwidth	从当前域（例如city a）到目的域（例如city b）方向的流量（单位：KB）	102400
   clusterName	目的域集群描述信息	hsfabric01
   hsfabricHostPort	目的域HSFabric的业务IP和端口	10.10.10.10:29900

2. 使用可访问HetuEngine WebUI界面的管理员用户登录目的域集群的Manager。
3. 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”。
4. 选择“HSFabric（角色） > 限流”，单击“上传文件”，选择步骤 1准备好的“ratelimit.xml”文件并上传，等待文件上传成功。
5. 单击“实例”，勾选“HSFabric”实例，选择“更多 > 重启实例”，输入密码重新启动HSFabric实例。

操作场景

HetuEngine服务在安装时已经将共部署（与HetuEngine在同一个Hadoop集群）的Hive数据源默认实现对接，数据源名称为“hive”，不可删除。部分默认配置不可修改，如数据源名称，数据源类型，服务端Principal，客户端Principal等。但当环境配置发生变化时，如修改了本集群的“本端域”域名，重启HetuEngine服务可以自动同步共部署Hive数据源的相关配置，如服务端Principal，客户端Principal。

• HetuEngine目前支持对接的数据格式包括：avro、text、rctext、orc、parquet、sequencefile。
• HetuEngine对接Hive数据源，不支持指定多分隔符建表，但对于在Hive数据源中指定MultiDelimitSerDe类作为序列化类来创建text数据格式的多分隔符表，可以通过HetuEngine查询，其他场景不支持。
• HetuEngine对接的Hive数据源支持Hudi表重定向功能。该功能支持在Hive connector访问Hudi表时重定向到Hudi connector，从而使用Hudi connector高级功能。使用该功能需提前配置目标Hudi数据源，并确保Hudi数据源与当前Hive数据源的Metastore URL一致，并在Hive数据源中配置“开启Hudi重定向”参数即可。
• 若需要使用Hive Metastore隔离功能，需要在Hive侧配置“HIVE_METASTORE_URI_HETU”，配置完成后需要重启HetuEngine服务的HSBroke实例，刷新Hive Metastore URI信息。可参考配置组件隔离访问Hive MetaStore。

本章节指导用户在HSConsole界面添加集群外部的Hive类型数据源。

前提条件

• 数据源所在集群域名与HetuEngine集群域名不能相同。
• 数据源所在集群与HetuEngine集群节点网络互通。
• 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。
• 已创建HetuEngine计算实例。
• 数据源所在集群与HetuEngine集群的时间需保持一致。

操作步骤

1. 获取Hive数据源集群的“hdfs-site.xml”和“core-site.xml”配置文件。
   1. 登录Hive数据源所在集群的FusionInsight Manager页面。
   2. 在“主页”右上方单击“下载客户端”，根据界面提示下载“完整客户端”文件到本地。
   3. 将下载的客户端文件压缩包解压，获取“FusionInsight_Cluster_1_Services_ClientConfig/HDFS/config”路径下的“core-site.xml”和“hdfs-site.xml”文件。
   4. 查看“core-site.xml”文件中是否有“fs.trash.interval”配置项，若没有，则新增以下配置。

      <property>
      <name>fs.trash.interval</name>
      <value>2880</value>
      </property>

   5. 查看“hdfs-site.xml”文件中的“dfs.client.failover.proxy.provider.NameService名称”配置项，并将其值修改成“org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider”。
      以NameService名称为“hacluster”为例：

      <property>
      <name>dfs.client.failover.proxy.provider.hacluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      </property>

      若对接的Hive数据源集群和HetuEngine处于同一个Hadoop集群中，“hdfs-site.xml”和“core-site.xml”配置文件的获取方式为从HDFS中获取，参考使用HDFS客户端进入集群HDFS客户端，执行以下命令获取：

      hdfs dfs -get /user/hetuserver/fiber/restcatalog/hive/core-site.xml

      hdfs dfs -get /user/hetuserver/fiber/restcatalog/hive/hdfs-site.xml

2. 获取Hive数据源的代理用户的“user.keytab”和“krb5.conf”文件。
   1. 登录Hive数据源所在集群的FusionInsight Manager页面。
   2. 选择“系统 > 权限 > 用户”。
   3. 选择对应的数据源用户，在“操作”列中选择“更多 > 下载认证凭据”。
   4. 从下载的文件中解压后获取“user.keytab”和“krb5.conf”文件。

      Hive数据源的代理用户需至少关联“hive”用户组。

3. 获取Metastore URL和服务端Principal。
   1. 获取Hive数据源所在集群客户端文件压缩包解压路径下的“FusionInsight_Cluster_1_Services_ClientConfig/Hive/config”下的“hive-site.xml”文件。
   2. 打开“hive-site.xml”文件，搜索“hive.metastore.uris”，其对应的值即为Metastore URL的值。搜索“hive.server2.authentication.kerberos.principal”，其对应的值即为服务端Principal的值。

4. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
5. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
6. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“Hive”。
   2. 配置“Hive配置”，参数配置请参考表2-778。
      表2-778 Hive配置

      参数	描述	取值样例
      hdfs-site文件	在本地选择步骤 1获取的“hdfs-site.xml”配置文件，文件名固定。	-
      core-site文件	在本地选择步骤 1获取的“core-site.xml”配置文件，文件名固定。	-
      yarn-site文件	在数据源客户端Yarn/config路径下获取，只有对接Hudi数据源的时候才需要上传此文件。	-
      krb5文件	开启安全模式时填写此参数。 Kerberos认证用到的配置文件，在本地选择步骤 2获取的“krb5.conf”文件。	krb5.conf
      开启数据源鉴权	是否同时使用Hive数据源的权限策略进行鉴权。 HetuEngine服务Ranger不启用时必须选“是”，Ranger启用后选“否”。	否

   3. 配置“Metastore配置”，参数配置请参考表2-779。
      表2-779 Metastore配置

      参数	描述	取值样例
      Metastore URL	数据源的Metastore的URL。获取方法请参考步骤 3。	thrift://192.168.1.1:21088,thrift://192.168.1.2:21088,thrift://192.168.1.13:21088
      开启Hudi重定向	已配置与当前Hive数据源的Metastore URL一致的目标Hudi数据源时可配置此功能。 开启后可以在Hive connector访问Hudi表时重定向到Hudi connector，从而使用Hudi connector高级功能。	否
      Hudi数据源名称	开启Hudi重定向时需配置目标Hudi数据源。 下拉框中显示所有已配置的Hudi数据源，只能选择满足Metastore URL条件的Hudi数据源。	-
      安全认证机制	打开安全模式后自动默认为KERBEROS。	KERBEROS
      服务端Principal	开启安全模式时填写此参数。该数据源客户端“hive-site.xml”中“hive.server2.authentication.kerberos.principal”参数值。 meta访问metastore带域名的用户名。获取方法请参考步骤 3。	hive/hadoop.hadoop.com@HADOOP.COM
      客户端Principal	开启安全模式时填写此参数。 格式为：访问metastore的用户名@域名大写。 访问metastore的用户名就是步骤 2中获取的“user.keytab”文件所属的用户。 说明： 用户可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名，如“HADOOP.COM”。	admintest@HADOOP.COM
      keytab文件	开启安全模式时填写此参数。 连接metastore用户名的keytab凭据文件，固定名称。在本地选择步骤 2获取的“user.keytab”文件。	user.keytab

   4. 配置“连接池配置”，参数配置请参考表2-780。
      表2-780 连接池配置

      参数	描述	取值样例
      是否开启连接池	访问Hive Metastore时是否开启连接池。	是
      最大连接数	每个Coordinator对每个Hive Metastore的最大连接数。取值范围：20-200，默认值：50。	50

   5. （可选）配置“Hive用户信息配置”，参数配置请参考表2-781。
      “Hive用户信息配置”与“HetuEngine-Hive用户映射配置”要搭配使用，HetuEngine在对接Hive数据源且“开启数据源鉴权”为“是”时，通过用户映射，使得HetuEngine的用户具备与Hive数据源被映射的用户访问Hive数据源时同样的权限。可以多个HetuEngine用户对应一个Hive用户。

      表2-781 Hive用户信息配置

      参数	描述
      Data Source User	数据源用户信息。 如果配置了数据源用户为hiveuser1，那么必须有映射到hiveuser1的HetuEngine用户。例如创建hetuuser1映射到hiveuser1。
      keytab文件	获取该数据源对应用户的认证凭据。

   6. （可选）配置“HetuEngine-Hive用户映射配置”，参数配置请参考表2-782。
      表2-782 HetuEngine-Hive用户映射配置

      参数	描述
      HetuEngine User	HetuEngine用户信息。
      Data Source User	数据源用户信息。如hiveuser1（表2-781中配置的数据源用户）。

   7. （可选）修改自定义配置。
      • 单击“增加”，参考表2-783增加自定义配置参数。
        表2-783 自定义配置

        参数	描述	取值样例
        hive.metastore.connection.pool.maxTotal	连接池可创建的最大连接数。	50（取值范围20~200）
        hive.metastore.connection.pool.maxIdle	连接池最大空闲线程数，当空闲线程达到最大值时不会释放新的线程。 默认值：8	8（取值范围0~200，不能超过最大连接数）
        hive.metastore.connection.pool.minIdle	连接池最小空闲线程数，此时线程池不会创建新的线程。 默认值：0	0（取值范围0~200，不能超过hive.metastore.connection.pool.maxIdle的值）
        hive.rcfile.time-zone	将二进制编码的时间戳值调整到特定的时区。 当Table存储格式为RCBINARY或者RCFILE时，HetuEngine侧插入的timestamp类型数据在Hive 3.1.0及以后版本的查询结果会比HetuEngine侧早8个小时，此时需要配置为UTC。 默认值：JVM default（即从JVM里获取本地时区）	UTC
        hive.orc.use-column-names	是否按照列名方式访问ORC存储文件： true：是 false（默认值）：否	false
        hive.parquet.use-column-names	是否按照列名方式访问PARQUET存储文件： true：是 false（默认值）：否	false
        hive.hdfs.wire-encryption.enabled	若对接数据源上HDFS的“hadoop.rpc.protection”参数值为“authentication”或“integrity”时，需添加此参数，并设置值为false。	false
        hive.strict-mode-restrictions	可设置如下约束条件限制用户查询： NONE：没有约束 DISALLOW_EXCEEDED_SCAN_ON_PARTITION（默认值）：不允许单Hive分区表扫描最大分区数大于hive.max-partitions-per-scan参数值	DISALLOW_EXCEEDED_SCAN_ON_PARTITION
        hive.timestamp-precision	可指定Hive表TIMESTAMP字段类型的精度，精度高于配置的值将会被截取： MILLISECONDS（默认值）：精度3，毫秒 MICROSECONDS：精度6，微秒 NANOSECONDS：精度9，纳秒	MICROSECONDS
        hive.ignore-absent-partitions	查询是否忽略分区下是否有文件丢失。 true：允许查询分区下存在文件丢失的情况 false：不允许查询分区下存在文件丢失的情况，会直接报错（手动对接数据源时，不填则默认为该值）	true
        hive.metastore.uri.shuffle.enabled	并发访问MetaStore时，支持负载均衡，而不是只优先选择第一个可用的MetaStore地址。 true：是 false（默认值）：否	false

      • 单击“删除”，可以删除已增加的自定义配置参数。
        • 以上自定义配置项，均可通过增加“coordinator.”和“worker.”前缀分别对Coordinator和Worker进行差异化配置。例如自定义添加“worker.hive.metastore.connection.pool.maxTotal”为50，表示配置Worker访问hive metastore时的最大连接数为50。若未添加前缀，则表示该配置项对Coordinator和Worker都生效。
        • 系统默认设置Coordinator访问hive metastore时的最大连接数为50，最大空闲连接数为8，最小空闲连接数为0，Worker访问hive metastore时的最大连接数为20，最大空闲和最小空闲连接数为0。
        • hive.max-partitions-per-scan：为单Hive分区表扫描最大分区个数。系统默认100000。
        • HetuEngine服务在安装时共部署的Hive数据源的“hive.ignore-absent-partitions”默认为“true”。
   8. 单击“确定”。

7. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

8. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog hive_1 --schema default --tenant default

9. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

数据类型映射

目前Hive数据源支持的数据类型为：BOOLEAN、TINYINT、SMALLINT、INT、BIGINT、REAL、DOUBLE、DECIMAL、NUMERIC、DEC、VARCHAR、VARCHAR（X）、CHAR、CHAR（X）、STRING、DATE、TIMESTAMP、TIME WITH TIMEZONE、TIMESTAMP WITH TIME ZONE、TIME、ARRAY、MAP、STRUCT、ROW。

性能优化

• 元数据缓存

  Hive连接器支持元数据缓存，以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存。

• 动态过滤

  开启动态过滤有助于Hive连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤。

• 带分区条件查询

  建立分区表并且查询带分区过滤条件有助于过滤部分分区数据，从而提高性能。

• Insert优化

  通过设置“task.writer-count”的值为“1”和增大“hive.max-partitions-per-writers”的值有助于提升Insert性能。可参考调整HetuEngine INSERT写入优化。

约束

• DELETE语法可以删除整个表的数据，或者分区表的指定分区。
• Hive元数据库不支持Schema重命名，即不支持ALTER SCHEMA RENAME语法。

操作场景

HetuEngine支持查询COW/MOR/MOW类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。

HetuEngine不支持Hudi的bootstrap表的读取。

前提条件

• 创建Hudi数据源的代理用户，该代理用户为人机用户且需拥有hive组。
• 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。
• 参考创建HetuEngine权限角色创建HetuEngine管理员用户。
• 数据源所在集群与HetuEngine集群的时间需保持一致。

操作步骤

1. 获取Hudi数据源集群的“hdfs-site.xml”，“core-site.xml”配置文件。
   1. 登录Hudi数据源所在集群的FusionInsight Manager页面。
   2. 在“主页”右上方单击“下载客户端”，根据界面提示下载“完整客户端”文件到本地。
   3. 将下载的客户端文件压缩包解压，获取“FusionInsight_Cluster_1_Services_ClientConfig/HDFS/config”路径下的“core-site.xml”和“hdfs-site.xml”。
   4. 查看“core-site.xml”文件中是否有“fs.trash.interval”配置项，若没有，则新增以下配置。

      <property>
      <name>fs.trash.interval</name>
      <value>2880</value>
      </property>

   5. 查看“hdfs-site.xml”文件中的“dfs.client.failover.proxy.provider.NameService名称”配置项，并将其值修改成“org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider”。
      以NameService名称为“hacluster”为例：

      <property>
      <name>dfs.client.failover.proxy.provider.hacluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      </property>

      若对接的Hudi数据源集群和HetuEngine处于同一个Hadoop集群中，“hdfs-site.xml”和“core-site.xml”配置文件的获取方式为从HDFS中获取，参考使用HDFS客户端进入集群HDFS客户端，执行以下命令获取：

      hdfs dfs -get /user/hetuserver/fiber/restcatalog/hive/core-site.xml

      hdfs dfs -get /user/hetuserver/fiber/restcatalog/hive/hdfs-site.xml

2. 获取Hudi数据源的代理用户的“user.keytab”和“krb5.conf”文件。
   1. 登录Hudi数据源所在集群的FusionInsight Manager页面。
   2. 选择“系统 > 权限 > 用户”。
   3. 选择对应的数据源用户，在“操作”列中选择“更多 > 下载认证凭据”。
   4. 从下载的文件中解压后获取“user.keytab”和“krb5.conf”文件。

      Hudi数据源的代理用户需至少关联“hive”用户组。

3. 获取Metastore URL和服务端Principal。
   1. 获取Hudi数据源所在集群客户端文件压缩包解压路径下的“FusionInsight_Cluster_1_Services_ClientConfig/Hive/config”下的“hive-site.xml”文件。
   2. 打开“hive-site.xml”文件，搜索“hive.metastore.uris”，其对应的值即为Metastore URL的值。搜索“hive.server2.authentication.kerberos.principal”，其对应的值即为服务端Principal的值。

4. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
5. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
6. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“Hudi”。
   2. 配置“Hudi配置”，参数配置请参考表2-784。
      表2-784 Hudi配置

      参数	描述	取值样例
      hdfs-site文件	在本地选择步骤 1获取的“hdfs-site.xml”配置文件，文件名固定。	-
      core-site文件	在本地选择步骤 1获取的“core-site.xml”配置文件，文件名固定。	-
      krb5文件	开启安全模式时填写此参数。 Kerberos认证用到的配置文件，在本地选择步骤 2获取的“krb5.conf”文件。	krb5.conf

   3. 配置“Metastore配置”，参数配置请参考表2-785。
      表2-785 Metastore配置

      参数	描述	取值样例
      Metastore URL	数据源的Metastore的URL。获取方法请参考步骤 3。	thrift://192.168.1.1:21088,thrift://192.168.1.11:21088,thrift://192.168.1.2:21088
      安全认证机制	打开安全模式后自动默认为KERBEROS。	KERBEROS
      服务端Principal	开启安全模式时填写此参数。 meta访问metastore带域名的用户名。获取方法请参考步骤 3。	hive/hadoop.hadoop.com@HADOOP.COM
      客户端Principal	开启安全模式时填写此参数。 格式为：访问metastore的用户名@域名大写.COM。 访问metastore的用户名就是步骤 2中获取的“user.keytab”文件所属的用户。	admintest@HADOOP.COM
      keytab文件	开启安全模式时填写此参数。 连接metastore用户名的keytab凭据文件，固定名称。在本地选择步骤 2获取的“user.keytab”文件。	user.keytab

   4. （可选）修改自定义配置。
      • 单击“增加”，参考表2-786增加自定义配置参数。
      表2-786 自定义配置

      参数	描述	取值样例
      hive.parquet.use-column-names	是否按照列名方式访问PARQUET存储文件： true：是 false（默认值）：否	false
      hive.hdfs.wire-encryption.enabled	若对接数据源上HDFS的“hadoop.rpc.protection”参数值为“authentication”或“integrity”时，需添加此参数，并设置值为false。	false
      hive.ignore-absent-partitions	查询是否忽略分区下是否有文件丢失。 true：允许查询分区下存在文件丢失的情况 false：不允许查询分区下存在文件丢失的情况，会直接报错（手动对接数据源时，不填则默认为该值）	true

      • 单击“删除”，可以删除已增加的自定义配置参数。
   5. 单击“确定”。

7. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

8. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog hudi_1 --schema default --tenant default

9. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

   若无法查询到Hudi数据，请参考将Hudi表数据同步到Hive同步Hudi数据后重试。

数据类型映射

目前Hudi数据源支持的数据类型为：INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING、DATE、TIMESTAMP、BOOLEAN、BINARY、MAP、STRUCT、ARRAY。

性能优化

• 元数据缓存

  Hudi连接器支持元数据缓存，以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存。

• 动态过滤

  开启动态过滤有助于Hudi连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤。

• 带分区条件查询

  建立分区表并且查询带分区过滤条件有助于过滤部分分区数据，从而提高性能。

约束

Hudi数据源只支持查询操作，更新和插入操作均不支持。

操作场景

ClickHouse数据源中同一个Schema（或Database）下不能存在名字内容相同但大小写格式不同的Table，例如：cktable（小写）、CKTABLE（大写）和CKtable（大小写混合），该内容的Table只能有一个，否则HetuEngine无法使用该Schema（或Database）下的表。

前提条件

参考创建HetuEngine权限角色创建HetuEngine管理员用户。

操作步骤

1. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
2. 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
3. 选择“数据源”，单击“添加数据源”，在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > ClickHouse”。
   2. 配置“ClickHouse配置”，参数配置请参考表2-787。
      表2-787 ClickHouse配置

      参数	描述	取值样例
      JDBC URL	ClickHouse数据源的JDBC URL地址。 ClickHouse数据源使用IPv4，则格式为：jdbc:clickhouse://<host>:<port>； ClickHouse数据源使用IPv6，则格式为：jdbc:clickhouse://[<host>]:<port> 其中： <host>获取方法：登录ClickHouse数据源所在集群的Manager页面，选择“集群 > 服务 > ClickHouse > 实例”，查看ClickHouseBalancer所在的“业务IP”。随机选取一个IP地址即可，目前仅支持填写一个IP地址。 <port>获取方法：登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 逻辑集群”，查看对应逻辑集群的HTTP Balancer端口号。	jdbc:clickhouse://192.168.1.1:21426或者jdbc:clickhouse://192.168.1.1:21425
      用户名	连接ClickHouse数据源的用户名。	根据连接数据源的用户名修改。
      密码	连接ClickHouse数据源的用户密码。	根据连接数据源的用户密码修改。
      Schema/Table大小写敏感	支持数据源的Schema/Table名称大小写格式敏感。 HetuEngine支持数据源的Schema/Table名称大小写格式敏感。 否：当数据源同一个Schema下有多个Table名称，如cktable（小写）、CKTABLE（大写）和CKtable（大小写混合），HetuEngine只能使用cktable（小写）。 是：要求数据源同一个Schema下只能有一个Table名称，如cktable（小写）或者CKTABLE（大写）或者CKtable（大小写混合），否则HetuEngine无法使用该Schema下的所有表。	-

   3. （可选）自定义配置。
      单击“增加”可以增加自定义配置参数。配置ClickHouse数据源自定义参数，参考表2-788。

      表2-788 ClickHouse数据源自定义配置参数

      参数	描述	取值样例
      use-connection-pool	是否使用JDBC连接池。	true
      jdbc.connection.pool.maxTotal	JDBC连接池中最大连接数。	8
      jdbc.connection.pool.maxIdle	JDBC连接池中最大空闲连接数。	8
      jdbc.connection.pool.minIdle	JDBC连接池中最小空闲连接数。	0
      jdbc.connection.pool.testOnBorrow	从JDBC连接池中获取连接使用时是否对连接的有效性做检验。	false
      clickhouse.map-string-as-varchar	是否将ClickHouse数据源String和FixedString类型处理成Varchar类型。 默认值：true	true
      clickhouse.socket-timeout	连接ClickHouse数据源超时时长。 单位：毫秒 默认值：120000	120000
      case-insensitive-name-matching.cache-ttl	数据源的大小写敏感的Schema/Table名称缓存超时时长。 单位：分钟 默认值：1	1

      单击“删除”可以删除已增加的自定义配置参数。

   4. 单击“确定”。

4. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

5. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog clickhouse_1 --schema default --tenant default

6. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

数据类型映射

性能优化

• 查询下推

  支持使用查询下推功能，提高查询速度。

• Scalar UDF下推

  Scalar UDF下推功能默认打开。使用该功能前需根据需求在HetuEngine中创建映射函数。

约束

• HetuEngine支持对接ClickHouse操作的SQL语法：SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。
• HetuEngine支持对接ClickHouse操作的表和视图：

  名称	支持对接ClickHouse操作的表、视图
  HetuEngine支持对ClickHouse操作的表	本地表（MergeTree）
  	复制表（ReplicatedReplacingMergeTree）
  	分布式表（Distributed）
  HetuEngine支持对ClickHouse操作的视图	普通视图（Normal）
  	物化视图（Materialized）

操作场景

本章节指导用户在HSConsole界面添加Elasticsearch数据源。

操作步骤

1. 获取Elasticsearch数据源的“ca.crt”文件。
   1. 登录Elasticsearch数据源所在集群的FusionInsight Manager页面。
   2. 在“主页”右上方单击“下载客户端”，根据界面提示下载“完整客户端”文件至本地。
   3. 解压下载的客户端文件，获取“FusionInsight_Cluster_1_Services_ClientConfig”路径下的“ca.crt”文件。

2. 生成Elasticsearch数据源开启TLS安全后的JKS格式的keystore文件。
   1. 在获取客户端文件的节点配置Java环境。
   2. 执行以下命令，在“ca.crt”文件所在目录生成“keystore.jks”文件。

      keytool -import -alias es -file ca.crt -keystore keystore.jks -storepass 自定义keystore.jks文件密码

3. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
4. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
5. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“Elasticsearch”。
   2. 配置“Elasticsearch配置”，参数配置请参考表2-789。
      表2-789 Elasticsearch配置

      参数	描述	取值样例
      主机IP	Elasticsearch主机的IP地址。 登录FusionInsight Manager，选择“集群 > 服务 > Elasticsearch > 实例”，在实例列表可查看EsNode节点所在的主机IP地址。随机选取一个IP地址即可，目前仅支持填写一个IP地址。	IPv4：192.168.1.1 IPv6：[192:168::1:1]
      HTTP端口	Elasticsearch的HTTP端口，默认为24100。	24100
      schema名称	HetuEngine生成的默认schema的名称。	default
      安全认证机制	开启安全模式后默认为PASSWORD。	PASSWORD
      用户名	开启安全模式时填写此参数。 连接Elasticsearch认证的用户名。	根据连接Elasticsearch的用户名修改。
      密码	开启安全模式时填写此参数。 连接Elasticsearch认证的密码。	根据连接Elasticsearch的用户名密码修改。
      开启TLS	是否在Elasticsearch开启TLS。	是
      Keystore文件	开启安全模式时填写此参数。 开启TLS时用到的keystore文件，在本地选择步骤 2生成的“keystore.jks”文件。	keystore.jks
      Keystore密码	开启安全模式时填写此参数，为2.b中填写的自定义keystore.jks文件密码。 开启TLS时用到keystore文件的密码。	-

   3. （可选）自定义配置。
      • 单击“增加”可以增加自定义配置参数。配置ElasticSearch数据源自定义参数，参考表2-790。
        表2-790 ElasticSearch数据源自定义配置参数

        名称	描述	取值样例
        allow-aggregation-pushdown	aggregation下推功能是否启用，默认开启。 true：开启下推。 false：不开启下推功能。	true
        elasticsearch.query-data-immediate.enabled	对Elasticsearch数据源执行表操作后，是否在Elasticsearch数据源侧立即refresh生效，默认false。 true：开启。 false：不开启。	false

      • 单击“删除”可以删除已增加的自定义配置参数。
   4. 单击“确定”。

6. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

7. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog elasticsearch_1 --schema default --tenant default

8. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

数据类型映射

性能优化

支持使用查询下推功能，提高查询速度。

约束

• HetuEngine支持对接ElasticSearch操作的SQL语法：SHOW CATALOGS/SCHEMAS/TABLES、SELECT、DROP TABLE、DELETE、UPDATE、DESCRIBE。

• 不支持如下语法：CREATE SCHEMA、CREATE TABLE、CREATE VIEW、ALTER TABLE、ALTER VIEW。
• 不支持查询Elasticsearch中有重复列名的表，如列名为“name”和“NAME”。
• 不推荐查询Elasticsearch表名中含有特殊字符的表，如“-”，“.”等，若需要加入特殊字符的表，需要在查询时将包含特殊字符的表用双引号表达。

操作场景

本章节指导用户在HSConsole界面添加GaussDB类型的JDBC数据源。

前提条件

• 数据源所在集群与HetuEngine集群节点网络互通。
• 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。
• 已创建HetuEngine计算实例。

操作步骤

1. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
2. 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
3. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > GAUSSDB-A”。
   2. 配置“GAUSSDB-A配置”，参数配置请参考表2-791。
      表2-791 GAUSSDB-A配置

      参数	描述	取值样例
      JDBC URL	连接GaussDB数据库的JDBC URL地址。格式为： jdbc:postgresql://CN业务IP:端口/数据库名称 说明： 若GaussDB数据库开启SSL，URL地址需添加如下SSL相关参数：ssl=true&sslfactory=org.postgresql.ssl.NonValidatingFactory	GaussDB数据库未开启SSL： jdbc:postgresql://192.168.1.1:25308/postgres GaussDB数据库开启SSL： jdbc:postgresql://192.168.1.1:25308/postgres?ssl=true&sslfactory=org.postgresql.ssl.NonValidatingFactory
      用户名	GaussDB数据源连接用户名。	根据连接数据源的用户名修改。
      密码	GaussDB数据源连接密码。	根据连接数据源的用户名密码修改。

   3. （可选）配置GaussDB用户信息，参考表2-792。

      “GaussDB用户信息配置”与“HetuEngine-GaussDB用户映射配置”要搭配使用，HetuEngine在对接的GaussDB数据源时，通过用户映射，使得HetuEngine的用户具备与GaussDB数据源被映射的用户访问GaussDB数据源时同样的权限。可以多个HetuEngine用户对应一个GaussDB用户。

      在GaussDB数据库中，创建的用户名要符合标识符的命名规范，且最大长度不超过63个字符。当用户名中包含大写字母时数据库将自动转换为小写字母，如果需要创建包含大写字母的用户名则需要使用双引号括起来。因此，配置“Data Source User”时，必须使用GaussDB数据库转换后的用户名。

      例如：

      • 在GaussDB数据库创建的用户名为Gaussuser1，则Data Source User应为gaussuser1。
      • 在GaussDB数据库创建的用户名为“Gaussuser1”，则Data Source User应为Gaussuser1。
      表2-792 GaussDB用户信息配置

      名称	描述
      Data Source User	数据源用户名称。 如果配置了数据源用户为gaussuser1，那么必须有映射到gaussuser1的HetuEngine用户。例如创建hetuuser1映射到gaussuser1。
      Password	对应数据源的用户认证密码。

   4. （可选）配置HetuEngine-GaussDB用户映射配置，参考表4 HetuEngine-GaussDB用户映射配置。

      以HetuEngine User和Data Source User键值对的形式配置多个HetuEngine的用户对应上面多个用户的其中一个。当使用不同的HetuEngine用户访问GaussDB时，可对应用不同的GaussDB的用户和密码。

      表2-793 HetuEngine-GaussDB用户映射配置

      名称	描述
      HetuEngine User	HetuEngine用户名。
      Data Source User	数据源用户，如gaussuser1（表2-792中配置的数据源用户）。

   5. （可选）自定义配置。
      • 单击“增加”可以增加自定义配置参数。配置GaussDB数据源自定义参数，参考表2-794。
        表2-794 GaussDB数据源自定义配置参数

        名称	描述	取值样例
        use-connection-pool	是否使用JDBC连接池。	true
        jdbc.connection.pool.maxTotal	JDBC连接池中最大连接数。	8
        jdbc.connection.pool.maxIdle	JDBC连接池中最大空闲连接数。	8
        jdbc.connection.pool.minIdle	JDBC连接池中最小空闲连接数。	0
        join-pushdown.enabled	true：允许将Join下推到数据源执行。 false: Join不会被下推到数据源执行，因此会消耗更多的网络和计算资源。	true
        join-pushdown.strategy	前提条件：Join下推功能已开启。 AUTOMATIC：基于代价估算（cost-based）的Join下推。 EAGER：尽可能的Join下推。	AUTOMATIC
        source-encoding	GaussDB数据源编码方式。	UTF-8
        multiple-cnn-enabled	是否使用GaussDB多CN配置。如果使用，首先确保关闭JDBC连接池功能，其次JDBC URL格式为：jdbc:postgresql://host:port/database,jdbc:postgresql://host:port/database,jdbc:postgresql://host:port/database	false
        parallel-read-enabled	是否使用并行数据读取功能。 启用并行数据读取功能将基于节点分布和“max-splits”参数值来确定实际的split数。 并行读取将与数据源创建多个连接，被依赖的数据源应当具备支持负载的能力。	false
        split-type	并行数据读取类型： NODE：基于GaussDB数据源DN节点划分并行度。 PARTITION：基于表分区划分并行度。 INDEX：基于表索引划分并行度。	NODE
        max-splits	最大并行度。	5
        use-copymanager-for-insert	数据写入时是否使用CopyManager批量导入功能。	false
        unsupported-type-handling	当连接器不支持此数据类型时，可以转换为VARCHAR，从而避免失败： CONVERT_TO_VARCHAR：不支持的类型将转为VARCHAR类型，并且只支持对它们的读操作，不支持的类型包括：BIT VARYING、CIDR、MACADDR、INET、OID、REGTYPE、REGCONFIG、POINT。 IGNORE（默认值）：不支持的类型将不在查询结果中显示。	CONVERT_TO_VARCHAR
        max-bytes-in-a-batch-for-copymanager-in-mb	CopyManager批量导入每一批次最大数据量，单位：MB。	10
        decimal-mapping	默认情况下HetuEngine会跳过未指定精度或超过最大精度38位的Decimal/Number/Numeric数据类型。可通过设置“decimal-mapping=allow_overflow”，将未指定精度且未超过38位的上述数据类型映射为Decimal(38，x)数据类型，x值为decimal-default-scale的值。	allow_overflow
        decimal-default-scale	Decimal/Number/Numeric映射数据类型Decimal(38，x)小数位精度值，取值范围0~38，默认为0，需配置为大于等于实际数据的小数位数。	0
        case-insensitive-name-matching	HetuEngine支持的GAUSSDB数据源的Schema和Table名称大小写格式敏感： false：仅支持查询全小写的Schema或Table。默认值为false。 true： 忽略大小写后无同名的Schema或Table：支持查询该Schema或Table。 忽略大小写后存在同名的Schema或Table：不支持查询该Schema或Table。	false

      • 单击“删除”可以删除已增加的自定义配置参数。
   6. 单击“确定”。

4. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

5. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog gaussdb_1 --schema admin --tenant default

6. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

数据类型映射

约束

• 不支持如下语法：GRANT、REVOKE、SHOW GRANTS、SHOW ROLES、SHOW ROLE GRANTS。
• UPDATE和DELETE语法不支持筛选条件子句中包含跨catalog的条件，例如：UPDATE mppdb.table SET column1=value WHERE column2 IN (SELECT column2 from hive.table)。
• UPDATE语法不支持更新DATE/TIMESTAMP/VARBINARY字段。
• 不支持查询WHERE语句条件为REAL，例如SELECT * FROM mppdb.table WHERE column1 = REAL '1.1'。
• DELETE语法不支持筛选条件子句中包含子查询，例如：DELETE FROM mppdb.table WHERE column IN (SELECT column FROM mppdb.table1)。
• HetuEngine支持GaussDB数据源Decimal/Number/Numeric类型数据的最大精度不超过38位。
• 当谓词的前后两端任意一端包含子查询时，该谓词不会下推，如示例语句count(*) 后面存在子查询，则不下推，但子查询中的min函数可以下推。

  select count(*) from item where i_current_price = (select min(i_current_price) from item);

操作场景

本章节指导用户在HSConsole界面添加HBase数据源。

前提条件

• 数据源所在集群域名与HetuEngine集群域名不能相同。
• 数据源所在集群与HetuEngine集群节点网络互通。
• 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），否则HetuEngine无法根据主机名称连接到非本集群节点。
• 已创建HetuEngine计算实例。
• 数据源所在集群与HetuEngine集群的时间需保持一致。

操作步骤

1. 获取HBase数据源的“hbase-site.xml”、“hdfs-site.xml”和“core-site.xml”配置文件。
   1. 登录HBase数据源所在集群的FusionInsight Manager页面。
   2. 在“主页”右上方单击“下载客户端”，根据界面提示下载“完整客户端”文件。
   3. 将下载的客户端文件压缩包解压，获取“FusionInsight_Cluster_1_Services_ClientConfig/HBase/config”路径下的“hbase-site.xml”、“core-site.xml”和“hdfs-site.xml”文件。

2. 获取HBase数据源的代理用户的“user.keytab”和“krb5.conf”文件。
   1. 登录HBase数据源所在集群的FusionInsight Manager页面。
   2. 选择“系统 > 权限 > 用户”。
   3. 选择对应的数据源用户，在“操作”列中选择“更多 > 下载认证凭据”。
   4. 从下载的文件中解压获取“user.keytab”和“krb5.conf”文件。

   数据源的代理用户需要具有对HBase的相关操作权限。

3. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
4. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。

5. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“HBase”。
   2. 配置“HBase配置”，参数配置请参考表2-795。
      表2-795 HBase配置

      参数	描述	取值样例
      ZooKeeper Quorum地址	该数据源ZooKeeper服务所有quorumpeer实例业务IP。当该数据源ZooKeeper服务使用IPv6时，则需额外在ZooKeeper Quorum地址中指定客户端端口号。 登录FusionInsight Manager，选择“集群 > 服务 > ZooKeeper > 实例”，可查看所有quorumpeer实例所在主机业务IP地址。	IPv4：192.168.1.1,192.168.1.2,192.168.1.3 IPv6：[192:168::10:11]:24002
      ZooKeeper客户端端口号	ZooKeeper客户端端口号。 登录FusionInsight Manager，选择“集群 > 服务 > ZooKeeper”，在“配置”页签查看“clientPort”的值。	24002
      HBase RPC通信保护	根据步骤 1获取的“hbase-site.xml”里配置项“hbase.rpc.protection”的值进行选择： 为“authentication”时选择“否”。 为“privacy”时选择“是”。	否
      安全认证机制	打开安全模式后自动默认为KERBEROS。	KERBEROS
      Principal	开启安全认证机制时填写此参数。就是步骤 2中获取的“user.keytab”文件所属的用户。	user_hbase@HADOOP2.COM
      keytab文件	开启安全模式时填写此参数。安全认证的密钥，在本地选择步骤 2获取的“user.keytab”文件。	user.keytab
      krb5文件	开启安全模式时填写此参数。Kerberos认证用到的配置文件，在本地选择步骤 2获取的“krb5.conf”文件。	krb5.conf
      hbase-site文件	开启安全模式时填写此参数。连接hdfs时，需要的配置文件。在本地选择步骤 1获取的“hbase-site.xml”文件。	hbase-site.xml
      core-site文件	开启安全模式时填写此参数。连接hdfs时需要用到的配置。在本地选择步骤 1获取的“core-site.xml”文件。	core-site.xml
      hdfs-site文件	开启安全模式时填写此参数。连接hdfs时需要用到的配置。在本地选择步骤 1获取的“hdfs-site.xml”文件。	hdfs-site.xml

   3. （可选）自定义配置。
   4. 单击“确定”。

6. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

7. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog hbase_1 --schema default --tenant default

8. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

9. 创建结构化映射表。
   映射表建表语句格式：

   CREATE TABLE schemaName.tableName (
     rowId VARCHAR,
     qualifier1 TINYINT,
     qualifier2 SMALLINT,
     qualifier3 INTEGER,
     qualifier4 BIGINT,
     qualifier5 DOUBLE,
     qualifier6 BOOLEAN,
     qualifier7 TIME,
     qualifier8 DATE,
     qualifier9 TIMESTAMP
   )
   WITH (
   column_mapping = 'qualifier1:f1:q1,qualifier2:f1:q2,qualifier3:f2:q3,qualifier4:f2:q4,qualifier5:f2:q5,qualifier6:f3:q1,qualifier7:f3:q2,qualifier8:f3:q3,qualifier9:f3:q4',
   row_id = 'rowId',
   hbase_table_name = 'hbaseNamespace:hbaseTable',
   external = true
   );

   “schemaName”必须与“hbase_table_name”中的“hbaseNamespace”一致。

   • 映射表建表支持：直接关联HBase数据源中的表、创建并关联HBase数据源中不存在的新表的两种形式。
   • 映射表字段支持的数据类型包括：VARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、DOUBLE、BOOLEAN、TIME、DATE、TIMESTAMP。
   • 映射表建表语句关键字说明见下表。
     表2-796 映射表建表语句关键字说明

     关键字	类型	是否必填	默认值	备注
     column_mapping	String	否	所有的列在同一个Family列族下	指定映射表中列与HBase数据源表中列族的映射关系。如果需要关联一张HBase数据源中的表，那么column_mapping必须与HBase数据源中的一致；如果创建一张HBase数据源中不存在的新表，column_mapping由用户指定。 column_mapping格式为“映射表列名:HBase列族:HBase列名”，映射表列名必须为小写，HBase列名需要与HBase端完全一致。
     row_id	String	否	映射表的第一列	HBase数据源中表rowkey对应的列名。
     hbase_table_name	String	否	空	指定需要关联的HBase数据源上的表空间和表名，用:连接。默认表空间为default。如果创建一张HBase数据源中不存在的新表，hbase_table_name不需要指定。
     external	Boolean	否	true	如果external=true ，表示该表为HBase数据源中表的一个映射表，不支持删除HBase数据源上的原始表；如果external=false，则删除Hetu-HBase表的同时，会删除HBase数据源上的表。

数据类型映射

HBase是基于字节的分布式存储系统，它将所有数据类型存储为字节数组。要在HetuEngine中表示HBase数据，需要先在HetuEngine中通过创建映射表的方式为HetuEngine列限定符选择与HBase列限定符的值相匹配的数据类型。

目前HetuEngine列限定符支持以下数据类型：VARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、DOUBLE、BOOLEAN、TIME、DATE和TIMESTAMP。

性能优化

• 谓词下推

  查询支持大部分算子下推，支持的谓词条件有：=、>=、>、<、<=、!=、IN、NOT IN、IS NULL、IS NOT NULL和BETWEEN AND。

• 批量GET查询

  批量GET即在HBase的API中将所要查询的多个Row Key封装成一个List<Get>，然后请求这个列表以获取数据的查询方式。该方式能避免每个Row Key都发起一次请求。

• HBase单表查询范围扫描优化

  HBase单表查询范围扫描优化是指根据HBase的列的谓词条件尝试自动推断rowkey的起止地址，在tableScan的时候设置hbase scan起止地址从而提高访问性能。

  比如假设HBase数据表的rowkey由building_code:house_code:floor:uuid四列组成，对于查询过滤条件where building_code = ‘123’and house_code = ‘456’，HetuEngine单表查询优化会只扫描rowkey范围前缀为‘123-456’的列，从而提高性能。

  开启HBase单表查询范围扫描优化的功能需要在5.c中添加自定义参数“hbase.rowkey.adaptive.optimization.enabled”，值为“true”。

  此外，在建表语句的建表属性中需指定rowkey的组成列和分隔字符：

  表2-797 HBase的rowkey组成列和分隔字符

  表属性	表属性含义	样例
  row_id_construct_columns	HBase数据表的rowkey组成列	building_code:house_code:floor:uuid
  row_id_construct_columns_terminal	HBase数据表的rowkey组成列的分割字符	：

  例如一个由building_code:house_code:floor:uuid四列组成的rowkey的建表语句如下：

  CREATE TABLE test.table_hbase_test (
  row_id string,
  col1 string,
  col2 string,
  col3 string,
  building_code string,
  house_code string,
  floor string,
  uuid string)
  WITH (column_mapping = '
  col1:attr:col1,
  col2:attr:col2,
  col3:attr:col3,
  building_code:attr:building_code,
  house_code:attr:house_code,
  floor:attr:floor,
  uuid:attr:uuid',
  row_id = 'row_id',
  row_id_construct_columns = 'building_code:house_code:floor:uuid',
  row_id_construct_columns_terminal = ':',
  hbase_table_name='test:table_hbase_test',
  external = true)

• Hbase多表联合查询动态过滤优化

  HBase支持动态过滤优化。

  开启动态过滤功能，需先开启HBase单表查询范围扫描优化功能，然后还需要在计算实例的“coordinator.config.properties”和“worker.config.properties”参数文件中添加自定义参数“enable-dynamic-filtering”，值为“true”，可参考3.e。

约束

不支持如下语法：ALTER，VIEW。

操作场景

本章节指导用户在安全模式集群下通过HSConsole界面添加另一个HetuEngine数据源。

操作步骤

1. 获取他域HetuEngine集群的代理用户的“user.keytab”文件。
   1. 登录他域HetuEngine集群FusionInsight Manager页面。
   2. 选择“系统 > 权限 > 用户”。
   3. 选择对应的数据源用户，在“操作”列中选择“更多 > 下载认证凭据”。
   4. 从下载的文件中解压出来的“user.keytab”文件就是用户的凭据文件。

2. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
3. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
4. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“HetuEngine”。
   2. 配置“HetuEngine配置”，参数配置请参考表2-798。
      表2-798 HetuEngine配置

      参数	描述	取值样例
      用户名	开启安全模式时填写此参数。 访问远端HetuEngine的用户。就是步骤 1中获取“user.keytab”所属用户。	hetu_test
      keytab文件	开启安全模式时填写此参数。 访问远端DataCenter的用户Keytab文件。在本地选择步骤 1k获取的“user.keytab”文件。	user.keytab
      开启双向传输	跨域数据传输是否开启双向传输，默认为“是”。 是：双向传输，请求通过本端的HSFabric将转发至远端的HSFabric，如果开启双向传输，需要配置本端HSFabric地址。 否，单向传输，请求直接发至远端的HSFabric。	是
      本端地址信息	本端MRS集群的HetuEngine服务负责对外通信的HSFabric实例的主机IP地址及端口号。 登录本端集群FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 实例”，查看HSFabric的业务IP地址。 单击“HSFabric”，选择“实例配置”，查看“server.port”的值，默认为“29900”。	192.168.1.1:29900,192.168.1.2:29900
      远端地址信息	远端MRS集群的HetuEngine服务负责对外通信的HSFabric实例的主机IP地址及端口号。 登录远端集群FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 实例”，查看HSFabric的业务IP地址。 单击“HSFabric”，选择“实例配置”，查看“server.port”的值，默认为“29900”。	192.168.1.1:29900,192.168.1.2:29900
      区域	当前请求发起方所属区域，只能包数字和下划线。	0755_01
      接收超时时长(秒)	等待接收数据的超时时长(单位：秒)。	60
      Task总超时时长(秒)	每个跨域Task执行的总超时时长(单位：秒)。	300
      Worker节点使用Task数	每个Worker节点接收数据时使用的Task数量。	5
      开启数据压缩	是：启动数据压缩。 否：不启动数据压缩。	是
      hsfabric.local.tenant	指定远端HetuEngine计算所使用的租户队列。 未配置该参数，系统会根据配置的用户，随机选择该用户所属的租户。 配置该参数，系统则会指定租户。适用于包括开启了租户的严格校验模式等场景。 若目标集群“tenant.strict.mode.enabled”参数的值为“true”时，此参数为必填项。 说明： 登录Manager，选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”，搜索“tenant.strict.mode.enabled”，查看该参数的值。	-

   3. （可选）自定义配置。
      • 单击“增加”可以增加自定义配置参数。配置HetuEngine数据源自定义参数，参考表2-799。
        表2-799 HetuEngine数据源自定义配置参数

        名称	描述	取值样例
        hsfabric.health.check.time	设置检测HSFabric实例状态的周期间隔，单位：秒	60
        hsfabric.subquery.pushdown	开启跨域查询下推参数，默认开启。 true：开启跨域查询下推。 false：不开启跨域查询下推。	true

      • 单击“删除”可以删除已增加的自定义配置参数。
   4. 单击“确定”。

5. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

6. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog hetuengine_1 --schema default --tenant default

7. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

数据类型映射

目前HetuEngine数据源支持的数据类型为：BOOLEAN、TINYINT、SMALLINT、INT、BIGINT、REAL、DOUBLE、DECIMAL、VARCHAR、CHAR、DATE、TIMESTAMP(0)~TIMESTAMP(6)、ARRAY、MAP、TIME WITH TIMEZONE、TIMESTAMP WITH TIME ZONE、TIME。

性能优化

支持使用查询下推功能，提高查询速度。

查询下推功能默认打开，也可参考4.c添加相关自定义参数开启查询下推功能。

约束

不支持如下语法：CREATE、ALTER、DROP VIEW、INSERT OVERWRITE、UPDATE、DELETE。

不支持跨域数据源的INSERT操作。

操作场景

本章节指导用户在安全模式集群的HSConsole界面添加IoTDB类型的JDBC数据源。

前提条件

• 数据源所在集群域名与HetuEngine集群域名不能相同。
• 数据源所在集群与HetuEngine集群节点网络互通。
• 已创建HetuEngine计算实例。
• 安全集群的IoTDB默认开启了SSL，开启了SSL后需上传“truststore.jks”文件，可参考使用IoTDB客户端获取该文件。

操作步骤

1. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
2. 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
3. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > IoTDB”。
   2. 配置“IoTDB配置”，参数配置请参考表2-800。
      表2-800 IoTDB配置

      参数	描述	取值样例
      JDBC URL	连接IoTDB的JDBC URL地址。 格式为：jdbc:iotdb://IoTDBServer业务IP1,IoTDBServer业务IP2:端口号。	jdbc:iotdb://192.168.1.1,192.168.1.2:22260
      用户名	连接IoTDB数据源的IoTDB用户名。	说明： 当IoTDB所在集群为非安全模式时，需使用IoTDB默认用户“root”。
      密码	连接IoTDB数据源的IoTDB用户密码。	说明： 当IoTDB所在集群为非安全模式时，请咨询IoTDB所在集群的集群管理员获取用户“root”的密码。
      开启ssl	IoTDB服务是否开启了SSL，安全集群默认开启。	是
      truststore文件	IoTDB开启SSL后需上传“truststore.jks”文件。	-

      • IoTDBServer业务IP：

        登录Manager，选择“集群 > 服务 > IoTDB > 实例”，查看IoTDBServer的业务IP。

      • 端口号：

        登录Manager，选择“集群 > 服务 > IoTDB > 配置”，搜索并查看“IOTDB_SERVER_RPC_PORT”的值，默认为“22260”。

   3. （可选）根据需求可添加自定义配置。
   4. 单击“确定”。

4. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

5. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog iotdb_1 --schema root.ln --tenant default

6. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

数据类型映射

功能增强

• IoTDB可为时间序列设置任意标签字段，HetuEngine侧查询可将IoTDB的这些标签字段与其他数据源进行融合查询。
• IoTDB数据库节点到时间序列中的任意节点，均可作为HetuEngine侧查询的表进行数据查询。

约束

• 不支持IoTDB数据创建，只支持IoTDB数据查询。
• 使用HetuEngine进行查询的IoTDB用户至少需要配置根目录root下的读权限。

前提条件

• 数据源与HetuEngine集群节点网络互通。
• 集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建HetuEngine业务用户，并为其赋予HDFS管理员权限，即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组，创建用户可参考创建HetuEngine权限角色。
• 已创建HetuEngine计算实例，可参考创建HetuEngine计算实例。
• 已获取MySQL数据库所在的IP地址，端口号，用户名及密码。

HetuEngine对接MySQL数据源约束

• HetuEngine支持对接MySQL操作的SQL语法：SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。
• HetuEngine支持的MySQL数据源的Schema和Table名称不区分大小写。
• 不支持在具有CHAR或VARCHAR等文本类型的列上下推任何谓词。

  例如：由于name是VARCHAR类型的列，因此如下两个查询的谓词均不会下推。

  SELECT * FROM nation WHERE name>'abcd';
  SELECT * FROM nation WHERE name='abcd';

配置MySQL数据源步骤

安装集群客户端

1. 安装包含HetuEngine服务的集群客户端，例如安装目录为“/opt/hadoopclient”。

准备MySQL驱动

2. 从MySQL官网获取MySQL驱动文件，格式为“xxx.jar”，支持版本为MySQL 5.7，MySQL 8.0及以后版本。
3. 上传MySQL驱动文件至HetuEngine所在集群。
   可通过如下两种方式：

   • 通过Manager界面上传至HDFS：
     1. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HDFS”，进入HDFS服务页面。
     2. 在“概览”页签下的“基本信息”区域，单击“NameNode Web UI”后的链接，进入NameNode Web UI界面。
     3. 选择“Utilities > Browse the file system”，单击，创建“/user/hetuserver/fiber/extra_file/driver/mysql”目录。
     4. 进入“/user/hetuserver/fiber/extra_file/driver/mysql”目录，单击上传步骤 2获取的MySQL驱动文件。
     5. 单击驱动文件所在行的“Permission”列的值，勾选“User”列的“Read”和“Write”，“Group”列的“Read”和“Other”列的“Read”，单击“Set”。
   • 通过使用HDFS命令直接上传：
     1. 登录HDFS服务客户端所在节点，切换到客户端安装目录，如“/opt/hadoopclient”。

        cd /opt/hadoopclient

     2. 执行以下命令配置环境变量。

        source bigdata_env

     3. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。

        kinit HetuEngine管理员用户

        根据回显提示输入密码。

     4. 执行如下命令创建目录“/user/hetuserver/fiber/extra_file/driver/mysql”，并上传步骤 2获取的MySQL驱动，然后修改对应的权限。

        hdfs dfs -mkdir -p /user/hetuserver/fiber/extra_file/driver/mysql

        hdfs dfs -put ./MySQL驱动文件 /user/hetuserver/fiber/extra_file/driver/mysql

        hdfs dfs -chmod -R 644 /user/hetuserver/fiber/extra_file/driver/mysql

配置MySQL数据源

4. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
5. 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
6. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > MySQL”。
   2. 配置“MySQL配置”，参数配置请参考表2-801。
      表2-801 MySQL配置

      参数	描述	取值样例
      驱动名称	选择步骤 2中已提前上传的待使用的MySQL驱动，格式为xxx.jar。	mysql-connector-java-8.0.11.jar
      JDBC URL	连接MySQL的JDBC URL地址。 格式：jdbc:mysql://MySQL数据库所在的IP地址:端口号。 端口号默认为3306。	IPv4：jdbc:mysql://192.168.1.1:3306 IPv6：jdbc:mysql://[192:168::1:1]:3306
      用户名	连接MySQL数据源的MySQL用户名。	-
      密码	连接MySQL数据源的MySQL用户密码。	-

   3. （可选）自定义配置。
      单击“增加”可以增加自定义配置参数。配置MySQL数据源自定义参数，参考表2-802。

      表2-802 MySQL数据源自定义配置参数

      参数	描述	取值样例
      mysql.auto-reconnect	是否自动重连。 true（默认值）：开启自动重连。 false：关闭自动重连。	true
      mysql.max-reconnects	最大重连次数，默认值：3。	3
      mysql.jdbc.use-information-schema	驱动程序是否应该使用INFORMATION_SCHEMA来派生“DatabaseMetaData”使用的信息。	true
      use-connection-pool	是否使用JDBC连接池，默认值：false。	false
      jdbc.connection.pool.maxTotal	JDBC连接池中最大连接数，默认值：8。	8
      jdbc.connection.pool.maxIdle	JDBC连接池中最大空闲连接数，默认值：8。	8
      jdbc.connection.pool.minIdle	JDBC连接池中最小空闲连接数，默认值：0。	0
      case-insensitive-name-matching	HetuEngine支持的MySQL数据源的Schema和Table名称大小写格式敏感。 false（默认值）：仅支持查询全小写的Schema和Table。 true： 忽略大小写后无同名的Schema和Table：支持查询该Schema和Table。 忽略大小写后存在同名的Schema和Table：不支持查询该Schema和Table。	false
      case-insensitive-name-matching.cache-ttl	MySQL数据源的大小写敏感的Schema和Table名称缓存超时时长，默认值：1m（1分钟）。	1m
      dynamic-filtering.enabled	是否将动态过滤器下推到JDBC查询中。 true（默认值）：开启下推。 false：关闭下推。	true
      dynamic-filtering.wait-timeout	在启动JDBC查询之前，HetuEngine将等待从连接的构建端收集动态过滤器的最大持续时间。使用较大的超时可能会导致更详细的动态过滤器。但是也会增加某些查询的延迟，默认值：20s。	20s
      unsupported-type-handling	当连接器不支持此数据类型时，是否将其转换为VARCHAR，从而避免失败。 CONVERT_TO_VARCHAR：将不支持的类型转为VARCHAR类型，并且只支持对它们的读操作。 IGNORE（默认值）：不支持的类型将不在查询结果中显示。	IGNORE
      join-pushdown.enabled	是否启用Join下推。 true（默认值）：开启Join下推。 false：关闭Join下推。	true
      join-pushdown.strategy	用于评估Join操作是否被下推的策略。默认值：AUTOMATIC AUTOMATIC（默认值）：启用基于成本的连接下推。 EAGER：尽可能下推Join。即使表统计信息不可用，EAGER也可以下推Join，这可能会导致查询性能下降，因此仅建议将EAGER用于测试和故障排除场景。	AUTOMATIC

      单击“删除”可以删除已增加的自定义配置参数。

   4. 单击“确定”。

7. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

8. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog mysql_1 --schema mysql --tenant default

9. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

MySQL与HetuEngine数据类型映射

前提条件

• 数据源与HetuEngine集群节点网络互通。
• 集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建HetuEngine业务用户，并为其赋予HDFS管理员权限，即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组，创建用户可参考创建HetuEngine权限角色。
• 已创建HetuEngine计算实例，可参考创建HetuEngine计算实例。
• 已获取Oracle数据库所在的IP地址，端口号，数据库实例名称或是数据库pdb名称，用户名及密码。

HetuEngine对接Oracle数据源约束

• 目前Oracle数据源默认为只读模式，支持Oracle12及以后版本。
• HetuEngine支持的Oracle数据源的Schema和Table名称不区分大小写。
• 不支持如下语法：CREATE SCHEMA、ALTER SCHEMA、DROP SCHEMA、INSERT INTO ... SELECT、INSERT OVERWRITE、UPDATE、ANALYZE、VIEW相关。
• 当使用CLOB、NCLOB、BLOB或RAW(n)这些Oracle数据库类型的列，或者使用映射到这些Oracle数据库类型的Trino数据类型的列，不支持下推。
  例如：由于name在HetuEngine中是VARCHAR类型的列，映射到Oracle中是NCLOB，因此如下两个查询的谓词均不会下推。

  SELECT * FROM nation WHERE name>'abcd';
  SELECT * FROM nation WHERE name='abcd';

• 如果指定了WHERE子句，则仅当WHERE中的谓词能够完全下推至Oracle的情况下才能执行DELETE。

配置Oracle数据源步骤

安装集群客户端

1. 安装包含HetuEngine服务的集群客户端，例如安装目录为“/opt/hadoopclient”。

准备Oracle驱动

2. 从Oracle官网获取Oracle驱动文件，格式为“ojdbcxxx.jar”，例如“ojdbc8.jar”。

   此处上传的驱动文件名有校验规则：Oracle数据源的驱动文件校验前缀“ojdbc”以及结尾的“jar”，中间的版本号不做校验，可以是任意字符，但是整体长度不能超过80个字符，且文件大小不超过100MB。

3. 上传Oracle驱动文件至HetuEngine所在集群。
   可通过如下两种方式：

   • 通过Manager界面上传至HDFS：
     1. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HDFS”，进入HDFS服务页面。
     2. 在“概览”页签下的“基本信息”区域，单击“NameNode Web UI”后的链接，进入NameNode Web UI界面。
     3. 选择“Utilities > Browse the file system”，单击，创建“/user/hetuserver/fiber/extra_file/driver/oracle”目录。
     4. 进入“/user/hetuserver/fiber/extra_file/driver/oracle”目录，单击上传步骤 2获取的Oracle驱动文件。
     5. 单击驱动文件所在行的“Permission”列的值，勾选“User”列的“Read”和“Write”，“Group”列的“Read”和“Other”列的“Read”，单击“Set”。
   • 通过使用HDFS命令直接上传：
     1. 登录HDFS服务客户端所在节点，切换到客户端安装目录，如“/opt/hadoopclient”。

        cd /opt/hadoopclient

     2. 执行以下命令配置环境变量。

        source bigdata_env

     3. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。

        kinit HetuEngine管理员用户

        根据回显提示输入密码。

     4. 执行如下命令创建目录“/user/hetuserver/fiber/extra_file/driver/oracle”，并上传步骤 2获取的Oracle驱动，然后修改对应的权限。

        hdfs dfs -mkdir -p /user/hetuserver/fiber/extra_file/driver/oracle

        hdfs dfs -put ./Oracle驱动文件 /user/hetuserver/fiber/extra_file/driver/oracle

        hdfs dfs -chmod -R 644 /user/hetuserver/fiber/extra_file/driver/oracle

配置Oracle数据源

4. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
5. 在“概览”页签下的“基本信息”区域，单击“HSConsole Web UI”后的链接，进入HSConsole界面。
6. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > Oracle”。
   2. 配置“Oracle配置”，参数配置请参考表1 Oracle配置。
      表2-803 Oracle配置

      参数	描述	取值样例
      驱动名称	选择步骤 2中已提前上传的待使用的Oracle驱动，格式为ojdbcxxx.jar。	ojdbc8.jar
      JDBC URL	连接Oracle的JDBC URL地址。端口号默认为1521。 可选择如下格式： jdbc:oracle:thin@Oracle数据库所在的IP地址:端口号/Oracle数据库pdb名称 jdbc:oracle:thin@Oracle数据库所在的IP地址:端口号:Oracle数据库实例名称。	jdbc:oracle:thin:@192.168.1.1:1521/orclpdb jdbc:oracle:thin:@192.168.1.1:1521:orcl
      用户名	连接Oracle数据源的Oracle用户名。	-
      密码	连接Oracle数据源的Oracle用户密码。	-

   3. （可选）自定义配置。
      单击“增加”可以增加自定义配置参数。配置Oracle数据源自定义参数，参考表2 Oracle数据源自定义配置参数。

      表2-804 Oracle数据源自定义配置参数

      参数	描述	取值样例
      case-insensitive-name-matching	HetuEngine支持的Oracle数据源的Schema和Table名称大小写格式敏感。 false（默认值）：仅支持查询全小写的Schema和Table。 true： 忽略大小写后无同名的Schema和Table：支持查询该Schema和Table。 忽略大小写后存在同名的Schema和Table：不支持查询该Schema和Table。	false
      case-insensitive-name-matching.cache-ttl	Oracle数据源的大小写敏感的Schema和Table名称缓存超时时长，默认值：1m（1分钟）。	1m
      dynamic-filtering.enabled	是否将动态过滤器下推到JDBC查询中。 true（默认值）：开启下推。 false：关闭下推。	true
      dynamic-filtering.wait-timeout	在启动JDBC查询之前，HetuEngine将等待从连接的构建端收集动态过滤器的最大持续时间。使用较大的超时可能会导致更详细的动态过滤器。但是也会增加某些查询的延迟，默认值：20s。	20s
      unsupported-type-handling	当连接器不支持此数据类型时，是否将其转换为VARCHAR，从而避免失败。 CONVERT_TO_VARCHAR：将不支持的类型转为VARCHAR类型，并且只支持对它们的读操作。除了数据类型映射表格中有的类型，其余类型均不支持。 IGNORE（默认值）：不支持的类型将不在查询结果中显示。	IGNORE
      join-pushdown.enabled	是否启用Join下推，启用连接下推可能会对某些查询语句产生负面影响。 true：开启Join下推。 false（默认值）：关闭Join下推。	false
      join-pushdown.strategy	用于评估Join操作是否被下推的策略。 AUTOMATIC（默认值）：启用基于成本的连接下推。 EAGER：尽可能下推Join。即使表统计信息不可用，EAGER也可以下推Join，这可能会导致查询性能下降，因此仅建议将EAGER用于测试和故障排除场景。	AUTOMATIC
      oracle.number.default-scale	Oracle Number（不带精度和小数位数）数据类型映射的HetuEngine Decimal类型的小数位数。默认未设置，如果不设置会视为该列不受支持。	5
      oracle.remarks-reporting.enabled	是否公开元数据注释： true：公开元数据注释。 false（默认值）：不通过REMARKS列公开元数据注释。	false
      oracle.synonyms.enabled	是否启用同义词功能，HetuEngine基于性能原因默认禁用了对Oracle SYNONYM的支持： true：开启同义词功能。 false（默认值）：禁用同义词功能。	false
      oracle.source-encoding	配置远端数据来源环境的字符集编码，防止数据出现乱码： ZHS16GBK或GBK AL32UTF8或UTF-8（默认值）	UTF-8

      单击“删除”可以删除已增加的自定义配置参数。

   4. 单击“确定”。

7. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

8. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog oracle_1 --schema oracle --tenant default

9. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

Oracle与HetuEngine数据类型映射

数据映射约束：

• HetuEngine不支持直接读取Oracle侧没有设置精度和规模的Number类型数据，需要在数据源配置中添加自定义参数“oracle.number.default-scale=s”来将其映射至decimal(38, s)类型。
• HetuEngine不支持读取Number(p, s)数据类型中“p-s>38”的列。
• Oracle侧的Date类型只存储到秒，所以映射到HetuEngine的数据类型为timestamp(0)。
• HetuEngine查询的时间戳类型数据，如果秒的小数精度大于3，会直接截断为3位小数，而不是四舍五入。
• 由于JDBC驱动程序中对于时间和日期支持的格式不同，插入或查询早于“1582-10-15”的日期时间时可能会出错。
• HetuEngine中VARCHAR(n)会被映射到Oracle中的VARCHAR2(n CHAR)， 如果n大于4000，则会被映射到NCLOB中；CHAR(n)会被映射到CHAR(n CHAR)，如果n大于2000，也会被映射到NCLOB中。
• HetuEngine不能将CHAR和VARCHAR数据类型写入到长度不合适的列中。
• 使用CREATE TABLE AS从一个CHAR值创建NCLOB列会将初始值中的后缀空格去掉；但是如果将一个CHAR值插入到已存在的NCLOB列中，则会保留后缀的空格。

功能增强

SELECT * FROM TABLE(
  oracle.system.query(
    query => 'SELECT * FROM tpch.nation'));

前提条件

• 数据源与HetuEngine集群节点网络互通。
• 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射。
• 集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建HetuEngine业务用户，并为其赋予HDFS管理员权限，即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组，创建用户可参考创建HetuEngine权限角色。
• 已创建HetuEngine计算实例，可参考创建HetuEngine计算实例。
• 已获取GBase数据库所在的IP地址，端口号，用户名及密码。

HetuEngine对接GBase数据源约束

• HetuEngine支持对接GBase操作的SQL语法：SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。
• HetuEngine支持的GBase数据源的Schema和Table名称不区分大小写。

配置GBase数据源步骤

安装集群客户端

1. 安装包含HetuEngine服务的集群客户端，例如安装目录为“/opt/hadoopclient”。

准备GBase驱动

2. 从GBase官网获取GBase驱动文件，格式为“xxx.jar”，需为“gbase-connector-java-9.5.0.1-build1-bin.jar”及以后版本。
3. 上传GBase驱动文件至HetuEngine所在集群。

   可通过如下两种方式：

   • 通过Manager界面上传至HDFS：
     1. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HDFS”，进入HDFS服务页面。
     2. 在“概览”页签下的“基本信息”区域，单击“NameNode Web UI”后的链接，进入NameNode Web UI界面。
     3. 选择“Utilities > Browse the file system”，单击，创建“/user/hetuserver/fiber/extra_file/driver/gbase”目录。
     4. 进入“/user/hetuserver/fiber/extra_file/driver/gbase”目录，单击上传步骤 2获取的GBase驱动文件。
     5. 单击驱动文件所在行的“Permission”列的值，勾选“User”列的“Read”和“Write”，“Group”列的“Read”和“Other”列的“Read”，单击“Set”。
   • 通过使用HDFS命令直接上传：
     1. 将获取的GBase驱动文件上传至HDFS服务客户端所在节点任意目录。
     2. 登录HDFS服务客户端所在节点，切换到客户端安装目录，如“/opt/hadoopclient”。

        cd /opt/hadoopclient

     3. 执行以下命令配置环境变量。

        source bigdata_env

     4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。

        kinit HetuEngine管理员用户

        根据回显提示输入密码。

     5. 执行如下命令创建目录“/user/hetuserver/fiber/extra_file/driver/gbase”，并上传步骤 2获取的GBase驱动，然后修改对应的权限。

        hdfs dfs -mkdir -p /user/hetuserver/fiber/extra_file/driver/gbase

        hdfs dfs -put GBase驱动文件路径 /user/hetuserver/fiber/extra_file/driver/gbase

        hdfs dfs -chmod -R 644 /user/hetuserver/fiber/extra_file/driver/gbase

配置GBase数据源

4. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
5. 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
6. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。
   1. 配置“基本配置”，填写数据源名称，选择数据源类型“JDBC > GBase”。
   2. 配置“GBase配置”，参数配置请参考表2-807。
      表2-807 GBase配置

      参数	描述	取值样例
      驱动名称	选择步骤 2中已提前上传的待使用的GBase驱动，格式为xxx.jar。	gbase-connector-java-9.5.0.1-build1-bin.jar
      JDBC URL	连接GBase的JDBC URL地址。 格式：jdbc:gbase://gbase数据库所在的IP地址:端口号。 端口号默认为5258。	jdbc:gbase://192.168.1.1:5258
      用户名	连接GBase数据源的GBase用户名。	-
      密码	连接GBase数据源的GBase用户密码。	-

   3. （可选）自定义配置。

      单击“增加”可以增加自定义配置参数。配置GBase数据源自定义参数，参考表2-808。

      表2-808 GBase数据源自定义配置参数

      参数	描述	取值样例
      GBase.auto-reconnect	是否自动重连。 true（默认值）：开启自动重连。 false：关闭自动重连。	true
      GBase.max-reconnects	最大重连次数，默认值：3。	3
      GBase.jdbc.use-information-schema	驱动程序是否应该使用INFORMATION_SCHEMA来派生“DatabaseMetaData”使用的信息。	true
      use-connection-pool	是否使用JDBC连接池，默认值：true。	true
      jdbc.connection.pool.maxTotal	JDBC连接池中最大连接数，默认值：8。	8
      jdbc.connection.pool.maxIdle	JDBC连接池中最大空闲连接数，默认值：8。	8
      jdbc.connection.pool.minIdle	JDBC连接池中最小空闲连接数，默认值：0。	0
      unsupported-type-handling	当连接器不支持此数据类型时，是否将其转换为VARCHAR，从而避免失败。 CONVERT_TO_VARCHAR：将不支持的类型转为VARCHAR类型，并且只支持对它们的读操作。 IGNORE（默认值）：不支持的类型将不在查询结果中显示。	IGNORE
      join-pushdown.enabled	是否启用Join下推。 true（默认值）：开启Join下推。 false：关闭Join下推。	true

      单击“删除”可以删除已增加的自定义配置参数。

   4. 单击“确定”。

7. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

   cd /opt/hadoopclient

   source bigdata_env

   kinit HetuEngine组件操作用户 （普通模式集群跳过）

8. 执行以下命令，登录数据源的catalog。

   hetu-cli --catalog 数据源名称 --schema 数据库名 --tenant 租户名称

   例如执行以下命令：

   hetu-cli --catalog gbase_1 --schema gbasedb --tenant default

9. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

   show tables;

GBase与HetuEngine数据类型映射

背景介绍

HetuEngine具备物化视图能力。在实际运用中，将高频访问的SQL查询和有高耗时的算子（连接， 聚合等算子）的SQL通过建立物化视图进行预计算，然后在查询的SQL中将能匹配到物化视图的查询或者子查询转换为物化视图，避免了数据的重复计算，这种情况下一般能较大地提高查询的响应效率。

物化视图通常基于对数据表进行聚合和连接的查询结果创建。

物化视图支持“查询重写”，这是一种优化技术，即将基于原始表编写的查询语句转换为查询一个或多个物化视图语句的等效请求。如下物化视图的SQL示例：

create materialized view mv.default.mv1 with(storage_table='hive.default.mv1') AS select id from hive.mvschema.t1;

该物化视图实际数据的存储表为“hive.default.mv1”，在查询重写时，查询SQL“select id from hive.mvschema.t1”会被重写成查询物化视图的表，即“select id from hive.default.mv1”。

使用场景

与普通的视图相比，物化视图会存储实际数据，占用存储资源，并且会有预计算带来的数据滞后性的问题，因此物化视图推荐在如下场景中使用：

• 执行频次高的查询。
• 查询包含非常耗时的操作，比如聚合、连接操作等。
• 对查询结果数据可以允许有一定的滞后性。
• 物化视图仅支持对接共部署Hive和外接Hive数据源，并且数据源表的存储格式为ORC或者PARQUET，不支持跨源跨域场景。

权限介绍

物化视图权限如表2-810。物化视图权限控制依赖Ranger，若关闭Ranger鉴权会带来权限失效的风险。

使用介绍

创建物化视图的“AS SELECT”的子句

• 在Session级别设置相应的catalog和schema，而不是在查询中传递完全限定的名称

  以指定catalogname为“hive”，schemaname为“default”为例：

  USE hive.default; 

  创建物化视图

  CREATE MATERIALIZED VIEW mv.default.mv1 WITH(storage_table='hive.default.mv11') AS SELECT id FROM t1;

  SELECT查询

  SELECT id FROM t1;

开启物化视图改写能力

HetuEngine支持在System级别或者Session级别开启物化视图改写能力，开启方法如下所示：

• Session级别：

  在HetuEngine客户端执行set session materialized_view_rewrite_enabled=true

• System级别：
  1. 使用具有访问HetuEngine WebUI界面权限的用户登录FusionInsight Manager。
  2. 选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
  3. 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面。
  4. 单击“计算实例”，查看待操作的租户的实例状态，当绿色图标和蓝色图标数量均为“0”时，可执行5配置开启物化视图改写能力。
  5. 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签，添加如下自定义参数。

     名称	值	参数文件
     materialized.view.rewrite.enabled	true	coordinator.config.properties
     materialized.view.rewrite.timeout	5	coordinator.config.properties

     • materialized.view.rewrite.timeout：物化视图的重写超时控制（单位：秒），推荐5s。物化视图重写时会消耗一定的时间，添加该参数可限制重写所带来的性能损耗，物化视图重写超时后会执行原始SQL。
     • 若使用Session级别开启物化视图功能，并需要开启物化视图重写超时控制，可先执行set session materialized_view_rewrite_timeout = 5。
  6. 参数添加完成后， 将“立即启动”置为“是”，单击“确定”。

物化视图改写能力支持范围

• 物化视图支持的类型

  BOOLEAN、DECIMAL、DOUBLE、REAL/FLOAT、INT、BIGINT、SMALLINT、TINYINT、CHAR/VARCHAR、DATE、TIME、TIMESTAMP、INTERVAL YEAR TO MONTH、INTERVAL DAY TO SECOND、BINARY/VARBINARY、UUID。

• 物化视图改写支持的函数
  • 转换函数：只支持CAST函数。
  • 二进制函数：支持《MapReduce服务(MRS) 3.5.1-LTS HetuEngine SQL语法手册(for 华为云Stack 8.5.1)》上声明的所有二进制函数。
  • 字符串函数：支持所有字符串函数，包括char_length、character_length、chr、codepoint、decode、encode、find_in_set、format_number、locate、hamming_distance、instr、levenshtein、levenshtein_distance、ltrim、lpad、octet_length、position、quote、repeat2。
  • 数学运算符：支持所有数学运算符。
  • 聚合函数：支持的聚合函数包括COUNT、SUM、MIN、MAX、AVG、LEAD、LAG、FIRST_VALUE、LAST_VALUE、COVAR_POP、COVAR_SAMP、REGR_SXX、REGR_SYY、STDDEV_POP、STDDEV_SAMP、VAR_POP、VAR_SAMP、ROW_NUMBER、RANK、PERCENT_RANK、DENSE_RANK、CUME_DIST。

  以下场景，物化视图不支持对包含了函数的SQL查询进行改写：

  • SQL中包含无参函数
  • SQL中包含了HetuEngine支持的会根据参数的类型获得不同类型的返回值的函数
  • SQL中函数存在嵌套使用，或者是使用的函数会发生异常导致重写失败的函数

  函数详情信息可参考《MapReduce服务(MRS) 3.5.1-LTS HetuEngine SQL语法手册(for 华为云Stack 8.5.1)》的“SQL函数和操作符”章节。

• 物化视图创建语句改写不支持二段式表名，支持一段式和三段式表名。

  如支持改写表名为“hive.mvschema.t1”和“t1”，不支持改写表名为“mvschema.t1”。

物化视图改写场景示例

物化视图的改写的核心原理是逻辑上创建的物化视图的数据要包含未来的查询语句要查询的数据，也可以是未来查询中的子查询要包含的全部数据。建议用户打开自动创建物化视图功能针对性的创建物化视图，以下为部分场景示例：

创建物化视图SQL样例中省略“CREATE MATERIALIZED VIEW xxx WITH(xxx) AS”，完整语句模板可参考表2-812。

操作场景

HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询效率获得倍数提升，同时有效降低系统负载压力。

前提条件

• 集群运行正常并至少安装一个QAS实例。
• 已创建用于访问HetuEngine WebUI界面的用户，如Hetu_user，用户创建具体操作请参见创建HetuEngine权限角色。

开启物化视图推荐功能

1. 以Hetu_user用户登录FusionInsight Manager页面。
2. 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 > QAS（角色） > 物化视图推荐”，参考表2-814配置物化视图推荐参数，其他参数保持默认即可。
   表2-814 物化视图推荐参数

   参数名称	值	描述
   qas.enable.auto.recommendation	true	开启物化视图推荐，默认值为“false”
   qas.sql.submitter	如：default,zuhu1	启用物化视图推荐功能的租户名称，多租户用英文逗号隔开
   qas.schedule.fixed.delay	1d	推荐物化视图的周期，建议一天一次
   qas.threshold.for.mv.recommend	0.05	物化视图推荐筛选阈值，取值范围为“0.001-1”，建议根据实际业务情况调整

3. 单击“保存”，保存配置。
4. 单击“实例”，勾选所有QAS实例，选择“更多 > 重启实例”，输入密码重启QAS所有实例使参数生效。

查看物化视图推荐结果

1. 以Hetu_user用户登录FusionInsight Manager页面。
2. 选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
3. 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面。
4. 选择“SQL运维 > 物化视图推荐”，可根据“租户”、“状态”、“推荐周期”、“物化视图名称”进行搜索，支持模糊搜索，支持导出指定物化视图推荐结果信息。
   物化视图任务的“状态”包括如下：

   表2-815 物化视图任务的“状态”

   状态名称	描述	状态名称	描述
   To Be Created	待创建	Deleting	删除中
   Creating	创建中	Deleted	已删除
   Created	创建完成	Planning	计划中
   Failed	创建失败	Aborted	已终止
   Updating	更新中	Duplicated	重复推荐

开启物化视图“重写缓存”

• Session级别：

  在HetuEngine客户端执行set session rewrite_cache_enabled=true

• System级别：
  1. 使用具有访问HetuEngine WebUI界面权限的用户登录FusionInsight Manager。
  2. 选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
  3. 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面。
  4. 单击“计算实例”，查看待操作的租户的实例状态，当绿色图标和蓝色图标数量均为“0”时，可执行5配置开启物化视图改写能力。
  5. 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签，添加如下自定义参数。

     名称	值	参数文件	描述
     rewrite.cache.enabled	true	coordinator.config.properties	启用物化视图“重写缓存”
     rewrite.cache.timeout	86400000	coordinator.config.properties	修改“重写缓存”的有效期 不填则使用默认值：86400000，单位：ms
     rewrite.cache.limit	10000	coordinator.config.properties	修改“重写缓存”的缓存上限 不填则使用默认值：10000，单位：条

  6. 参数添加完成后，将“立即启动”置为“是”，单击“确定”。

物化视图的有效期

创建物化视图的“mv_validity”字段为物化视图的有效期，HetuEngine只会使用有效期内的物化视图进行自动改写。

物化视图的数据刷新

如果需要数据定期更新，需要定时刷新物化视图，可以使用如下两种方式实现：

• 手动刷新物化视图

  在HetuEngine客户端执行refresh materialized view <mv name>，或者在用户的业务程序通过JDBC驱动执行refresh materialized view <mv name>进行手动更新。

• 自动刷新物化视图
  1. 如果要启动物化视图的自动刷新能力，必须存在一个被设置为维护实例的计算实例，设置维护实例可参考14.6.4-配置HetuEngine维护实例。
  2. 使用“create materialized view”创建具备自动刷新的物化视图。
     • 如果物化视图过多，可能会导致物化视图在刷新的等待队列中等待时间过长而过期。
     • 自动刷新功能不会自动刷新状态为disable的物化视图。

查询外部Hive数据源使用自动刷新物化视图注意事项

维护实例默认使用HetuEngine内置用户hetuserver/hadoop.<系统域名>作为执行物化视图自动刷新的用户， 当创建物化视图语句查询外部Hive数据源，且该数据源已开启数据源鉴权时，需修改执行自动刷新的用户，修改方法如下：

1. 对端集群是否已安装HetuEngine服务。
   • 是：执行步骤 3。
   • 否：执行步骤 2。

2. 准备系统用于自动刷新的用户。
   1. 在本端集群和对端集群同时创建同名人机用户。

      以mvuser为例，对端集群需要为mvuser添加“supergroup”用户组，本端集群需要为mvuser添加“supergroup”和“hive”用户组，并且添加对应维护实例的租户角色。

   2. （可选）若本端集群开启了Ranger鉴权，则需要给mvuser用户添加刷新物化视图和set session的权限，可分别参考表2-810和表2-1263。

3. 使用HetuEngine管理员用户登录FusionInsight Manager页面。
4. 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”，进入HetuEngine服务配置页面。
5. 搜索“jobsystem.customized.properties”，添加用户自定义配置名称为“hetuserver.engine.jobsystem.inner.principal”，值为如下内容，添加完成后单击“保存”，根据界面提示保存配置。
   • 对端集群已安装HetuEngine服务：值为“hetuserver”。
   • 对端集群未安装HetuEngine服务：值为2.a创建的用户名。

6. 单击“实例”，勾选所有HSBroker实例，选择“更多 > 重启实例”，根据界面提示重启HSBroker实例。
7. 单击“概览”，在“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面。在“计算实例”页签，找到维护实例，单击“操作”列的“重启”根据界面提示重启维护实例。

   在计算实例的“实例名”列中，存在图标的即为维护实例，也可以通过14.6.4-配置HetuEngine维护实例章节确认维护实例。

概述

基于智能物化视图，HetuEngine可以提供智能预计算与缓存加速能力。HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习，基于收益最大化原则自动生成高价值物化视图的候选SQL。在实际运用中，HetuEngine管理员可选择通过配置“维护实例”等，开启物化视图的自动创建与自动刷新功能。业务用户可以通过配置客户端Session来获得基于自动创建的物化视图的自动改写与提速。

该能力可以极大降低用户使用物化视图功能的使用难度，带来业务无感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间，可实现对高频SQL业务的智能加速。同时，该能力可以降低数据平台的整体负载（CPU、内存、IO等），有助于提升系统稳定性。

智能物化视图包括以下几个功能：

• 自动推荐物化视图
• 自动创建物化视图
• 自动刷新物化视图
• 自动删除物化视图

前提条件

集群运行正常并至少安装一个QAS实例。

应用流程

图2-255 HetuEngine智能物化视图应用流程

操作场景

本章节指导用户在HSConsole页面查看HetuEngine自动化任务的任务状态和任务执行结果等信息。用户可定期查看任务执行情况，帮助评估集群运行健康状况。

前提条件

已创建用于访问HetuEngine WebUI界面的用户，用户创建具体操作请参见创建HetuEngine权限角色。

操作步骤

1. 使用具有访问HetuEngine WebUI界面权限的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
2. 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面。
3. 单击“自动化任务”进入任务查询页面，用户可根据任务的“任务类型”、“状态”、“附加信息”、“起止时间”进行搜索，支持模糊搜索。

   搜索条件	描述
   任务类型	ALL：所有类型
   	Refresh of materialized view：刷新物化视图
   	Recommendation of materialized view：推荐物化视图
   	Auto create materialized view：自动创建物化视图
   	Drop auto created and stale materialized view：自动删除物化视图
   状态	ALL：所有状态
   	success：任务运行成功
   	failed：任务运行失败
   	waiting：任务等待
   	running：任务正常运行
   	skipped：此任务跳过
   	timeout：任务执行超时
   	unknown：任务状态未知

4. 单击“查询”，页面即展示匹配的任务信息。