所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

OceanStor 9000 V300R006C10 文件系统特性指南 05

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
安装HDFS Plugin到Cloudera Hadoop节点

安装HDFS Plugin到Cloudera Hadoop节点

为所有Cloudera Hadoop节点安装HDFS Plugin。OceanStor 9000提供批量部署脚本,可将HDFS Plugin批量部署到所有Hadoop节点。

前提条件

  • 所有Hadoop节点,与OceanStor 9000前端业务网络之间网络互通。

  • 已获取版本软件中的安装包OceanStor_9000_version_HDFS.tar.gz并完成完整性校验。其中文件名中的具体版本号省略,用斜体version表示。

说明:

要了解关于版本软件获取与校验方法,以及通过FTP工具上传文件的方法,请参见OceanStor 9000 软件安装指南》

操作步骤

  1. 记录NodeManager服务的IP地址列表。

    登录Cloudera Manager,选择Yarn > NodeManager,逐一单击主机名称,记录“IP”,如图14-19所示。

    图14-19  查看NodeManager服务的IP地址列表

  2. 记录ZooKeeper服务的IP地址列表。

    单击“主页”,选择ZooKeeper > Server,逐一单击主机名称,记录“IP”

  3. 备份并修改如表14-14所示的各对接配置文件。

    请确认已停止Hadoop集群。

    表14-14  对接配置文件

    组件

    配置文件

    文件内容

    HBase、HDFS、Hive、Yarn、MapReduce

    core-site.xml

    设置为如下内容。其中,“fs.nas.task.nodes”参数值应设置为1中记录的NodeManager服务IP地址列表。以“,”分隔多条记录。

    <property>
    <name>fs.defaultFS</name>
    <value>nas:///</value>
    </property>
    <property>
    <name>fs.nas.mount.dir</name>
    <value>/mnt/nfsdata0</value>
    </property>
    <property>
    <name>fs.nas.impl</name>
    <value>com.huawei.nasfilesystem.ShareNASFileSystem</value>
    </property>
    <property>
    <name>fs.AbstractFileSystem.nas.impl</name>
    <value>com.huawei.nasfilesystem.WushanFs</value>
    </property>
    <property>
    <name>fs.nas.task.nodes</name>
    <value>10.10.10.11,10.10.10.12</value>
    </property>
    <property>
    <name>default.fs.name</name>
    <value>nas:///</value>
    </property>

    HBase

    hbase-site.xml

    <property>
    <name>hbase.rootdir</name>
    <value>nas:/hbase</value>
    </property>

    以修改HDFS的core-site.xml配置文件为例,操作方法如下:

    1. 登录Cloudera Manager。
    2. 在组件列表中单击“HDFS”,单击“配置”,单击左侧下方的“高级”
    3. 将待设置文本框中的内容和配置文件名称以手工复制方式备份到本地。
    4. 表14-14中的目标内容复制到core-site.xml右侧的文本框中,如图14-20所示。

      图14-20  修改对接配置文件

    5. 在文本框中输入修改原因后,单击页面上方的“保存更改”
  4. 通过FTP工具,将OceanStor_9000_version_HDFS.tar.gz上传到第一个Hadoop节点的/temp/tools目录下。

    可采用root用户上传。

    说明:

    您也可以选择其他Hadoop节点执行此操作。为方便后续管理,本文档统一采用第一个Hadoop节点表述。

  5. 解压安装包。
    1. 以root用户登录Hadoop节点。
    2. 执行如下命令,解压安装包。

      node1:~ # chmod 755 /temp/tools -R                                 
      node1:~ # cd /temp/tools                                                 
      node1:/temp/tools # tar xvf OceanStor_9000_version_HDFS.tar.gz  
      tools/                                                                        
      tools/pluginPkg/                                                              
      tools/pluginPkg/ShareNASFileSystem.jar                                        
      tools/deployTools.sh                                                          
      tools/pluginConf/
      ......                                                             
      node1:/temp/tools # cd tools/                                            
      

    3. 使用vi编辑器修改/temp/tools/tools/deploy.properties中的参数值。参数说明如表14-15所示。

      说明:

      您也可以下载该文件到本地后,通过写字板完成修改后,上传并覆盖原有文件。

      表14-15  对接Cloudera Hadoop时deploy.properties参数说明

      参数

      说明

      HADOOP_NODES

      需要部署HDFS Plugin的所有Hadoop节点IP地址或主机名称。以“,”分隔多条记录。

      当一个节点有多个IP地址与第一个Hadoop节点网络互通时,仅需要填写一个。

      ACTIVE_OM_NODE

      无需设置。

      WHICH_HADOOP

      设置为“CDH”

      NEED_UPDATE_CLUSTER

      采用缺省值“true”,不可更改。

      NEED_DO_MOUNT

      采用缺省值“true”,不可更改。

      NEED_DO_PRECREATE_DIR

      采用缺省值“true”,不可更改。

      FS_DNS_IP

      InfoEqualizer DNS IP地址,可在DeviceManager的设置 > 集群设置 > InfoEqualizer > 网络设置页面中查看。

      FS_DOMAIN_NAME

      文件系统初始化时所配置的“动态域名称”可在DeviceManager的设置 > 集群设置 > InfoEqualizer > 基本信息页面中查看。

      如果未配置,请参考OceanStor 9000 文件系统管理员指南》“初始化系统”章节,启用InfoEqualizer,并配置“动态域名称”以及为存储节点增加动态前端IP地址后,再使用“动态域名称”

      FS_SHARE_DIR

      文件系统中的数据分析目录,即所配置的NFS文件共享目录。例如:/hadoop_dir。

      CDH

      HADOOP_HOME

      删除行首的“#”,使该参数有效。根据实际CDH版本来设置对应的路径。

      CM_LIB_HOME

      删除行首的“#”,使该参数有效。根据实际CDH版本来设置对应的路径。

      LIB_LOCATIONS

      删除行首的“#”,使该参数有效。根据实际CDH版本来设置对应的路径。

      FusionInsight

      HADOOP_HOME

      在行首增加“#”,使该参数无效。

      LIB_LOCATIONS

      在行首增加“#”,使该参数无效。

      Hadoop client

      NEED_UPDATE_CLIENT

      设置为“false”,同时下面三个参数值无需设置。

      HADOOP_CLIENT_NODE

      无需设置。

      HADOOP_CLIENT_HOME

      无需设置。

      HADOOP_CLIENT_LIB_LOCATIONS

      无需设置。

  6. 执行如下命令安装HDFS Plugin。

    node1:/temp/tools/tools # chmod 755 deployTools.sh                       
    node1:/temp/tools/tools # dos2unix deployTools.sh                        
    dos2unix: converting file deployTools.sh to UNIX format ...                   
    node1:/temp/tools/tools # ./deployTools.sh deploy      

    按照提示输入root用户密码。当提示“Completed”时,表明已安装成功。

  7. 清理ZooKeeper配置。
    1. 登录Cloudera Manager,选择ZooKeeper > 操作 > 启动
    2. 在第一个Hadoop节点中,执行如下命令。

      下面命令中的zkserverX,请调整为2中记录的ZooKeeper服务IP地址列表。

      node1:/temp/tools/tools # zookeeper-client -server zkserver1,zkserver2,zkserver3,...:2181
      ...
      WATCHER::
      WatchedEvent state:...
      # 按Enter键
      # 查看已存在目录
      ls /
      ...
      # 删除/hbase
      rmr /hbase
      quit

  8. 启动Hadoop集群并配置客户端。
    1. 登录Cloudera Manager,启动Hadoop集群,如图14-21所示。

      图14-21  启动Hadoop集群

    2. 选择“部署客户端配置”,在弹出的对话框中单击“部署客户端配置”
  9. 关闭对接OceanStor 9000后不再需要的检查项,以便屏蔽相关告警。
    1. 登录Cloudera Manager,单击“Hive”,然后单击“配置”
    2. 在搜索文本框中输入“Hive Metastore Canary”
    3. “属性”“Hive Metastore Canary运行状况检查”行的复选框置为未选中状态,输入修改原因后,单击页面右上方的“保存更改”
    4. 单击“主页”返回到主页。
    5. 单击“HDFS”,然后单击“配置”
    6. 在搜索文本框中输入“SecondaryNameNode 进程运行状况检查”
    7. “属性”“SecondaryNameNode 进程运行状况检查”行的复选框置为未选中状态,输入修改原因后,单击页面右上方的“保存更改”
    8. 在搜索文本框中输入“文件系统检查点”
    9. 单击“文件系统检查点期间监控阈值”右侧单元格,在“警告”中选择“从不”,在“严重”中选择“从不”
    10. 单击“文件系统检查点事务监控阈值”右侧单元格,在“警告”中选择“从不”,在“严重”中选择“从不”
    11. 输入修改原因后,单击页面右上方的“保存更改”
  10. 重启Hadoop集群。

    单击“主页”,选择 > 重启

翻译
下载文档
更新时间:2019-03-30

文档编号:EDOC1000162199

浏览量:29251

下载量:105

平均得分:
本文档适用于这些产品
相关文档
相关版本
Share
上一页 下一页