所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

OceanStor 9000 V300R006C10 文件系统特性指南 05

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
(可选)迁移业务数据

(可选)迁移业务数据

如果对接前FusionInsight Hadoop中已存在HDFS业务数据,则需要将这些数据迁移到OceanStor 9000中;否则,无需执行此操作。

前提条件

已成功对接FusionInsight Hadoop。

为确保数据迁移成功,建议在验证步骤中由相关业务人员确认数据正确性和完整性。

如果HDFS、HBase、Hive中的一个或多个组件无业务数据,则无需执行该组件相关的迁移操作。

操作步骤

  1. 登录Hadoop客户端。
    1. 以root用户登录任意一个Hadoop客户端。
    2. 进入Hadoop客户端安装路径(以/opt/client为例),请执行命令cd /opt/client
    3. 执行命令source bigdata_env配置客户端环境变量。
    4. 当FusionInsight Hadoop采用安全模式时,请先执行命令kinit admin,然后输入客户端用户登录密码。

      当FusionInsight Hadoop采用非安全模式时,请略过本操作。

  2. 执行如下命令,迁移HDFS数据。

    迁移所有HDFS数据,下面以数据位于hdfs://hacluseter/hdfs为例介绍。

    hadoop fs -get hdfs://hacluseter/hdfs /mnt/nfsdata0

  3. 停止HBase和Hive服务。
    1. 登录FusionInsight Hadoop Manager,选择Services > HBase > Status > Stop Service,输入admin帐号密码后单击“OK”
    2. 选择Services > Hive > Status > Stop Service,输入admin帐号密码后单击“OK”
  4. 执行如下命令,迁移HBase数据。

    迁移所有HBase数据,下面以数据位于hdfs://hacluseter/hbase为例介绍。

    hadoop fs -get hdfs://hacluseter/hbase /mnt/nfsdata0

  5. 执行如下命令,迁移Hive数据。

    迁移所有Hive数据,下面以数据位于hdfs://hacluseter/user/hive/warehouse为例介绍。

    hadoop fs -get hdfs://hacluseter/user/hive/warehouse /mnt/nfsdata0

  6. (可选)调整Hive数据库参数。

    如果未启动过Hadoop集群,请略过本步骤。

    1. 记录Active DBService服务的IP地址。

      登录FusionInsight Hadoop Manager,选择Services > DBService > Instances,记录“Active”所在行的“Business IP”

    2. 以root用户登录Active DBService服务的IP地址所属节点。
    3. 执行如下命令,登录数据库。

      node1:~ # su - omm
      omm@node1:~> gsql -d HIVEMETA -U omm -p 20051 -W password

      其中,password为omm数据库用户密码。

    4. 执行如下SQL语句。

      update DBS set DB_LOCATION_URI='nas:/user/hive/warehouse';
      update SDS set LOCATION='nas:/user/hive/warehouse/lineitem';
      \q

  7. 启动HBase和Hive服务。
    1. 登录FusionInsight Hadoop Manager,选择Services > HBase > Status > Start Service,然后单击“OK”
    2. 选择Services > Hive > Status > Start Service,然后单击“OK”

验证步骤

以root用户登录任意一个Hadoop客户端,执行命令hadoop fs -ls /,确认数据正确性和完整性。

翻译
下载文档
更新时间:2019-03-30

文档编号:EDOC1000162199

浏览量:29387

下载量:107

平均得分:
本文档适用于这些产品
相关文档
相关版本
Share
上一页 下一页