所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

OceanStor 9000 V300R006C10 文件系统特性指南 05

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
安装HDFS Plugin到FusionInsight Hadoop节点与客户端

安装HDFS Plugin到FusionInsight Hadoop节点与客户端

为所有FusionInsight Hadoop节点与客户端安装HDFS Plugin。OceanStor 9000提供批量部署脚本,可将HDFS Plugin批量部署到所有Hadoop节点与客户端。

前提条件

  • 所有Hadoop节点和客户端,与OceanStor 9000前端业务网络之间网络互通。

  • 已获取版本软件中的安装包OceanStor_9000_version_HDFS.tar.gz并完成完整性校验。其中文件名中的具体版本号省略,用斜体version表示。

说明:

要了解关于版本软件获取与校验方法,以及通过FTP工具上传文件的方法,请参见OceanStor 9000 软件安装指南》

操作步骤

  1. 记录NodeManager服务的IP地址列表。

    登录FusionInsight Hadoop Manager,选择Services > Yarn > Instances,记录“NodeManager”所在行的“Business IP”列表,如图14-12所示。

    图14-12  查看NodeManager服务的IP地址列表

  2. 记录ZooKeeper服务的IP地址列表。

    选择Services > ZooKeeper > Instances,记录所有行的“Business IP”列表。

  3. 通过FTP工具,将OceanStor_9000_version_HDFS.tar.gz上传到第一个Hadoop节点的/temp/tools目录下。

    可采用root用户上传。

    说明:

    您也可以选择其他Hadoop节点执行此操作。为方便后续管理,本文档统一采用第一个Hadoop节点表述。

  4. 解压安装包。
    1. 以root用户登录Hadoop节点。
    2. 执行如下命令,解压安装包。

      node1:~ # chmod 755 /temp/tools -R                                 
      node1:~ # cd /temp/tools                                                 
      node1:/temp/tools # tar xvf OceanStor_9000_version_HDFS.tar.gz  
      tools/                                                                        
      tools/pluginPkg/                                                              
      tools/pluginPkg/ShareNASFileSystem.jar                                        
      tools/deployTools.sh                                                          
      tools/pluginConf/                                                             
      ......
      node1:/temp/tools # cd tools/                                            
      

    3. 执行如下命令,获取ACTIVE_OM_NODE参数值。

      node1:/temp/tools # /opt/huawei/Bigdata/om-0.0.1/sbin/status-oms.sh
      ...
      NodeName      HostName   HaVersion    StartTime             HAActive   HAallResOK  HARunPhase
      10-10-10-11   node1      V100R001C01  2015-10-23 10:09:50   active     normal      Actived
      10-10-10-12   node2      V100R001C01  2015-10-13 20:01:55   standby     normal      Deactived

      记录“HAActive”“active”行的HostName值。该值即为下面操作中待设置的ACTIVE_OM_NODE参数值。

    4. 使用vi编辑器修改/temp/tools/tools/deploy.properties中的参数值。参数说明如表14-10所示。

      说明:

      您也可以下载该文件到本地后,通过写字板完成修改后,上传并覆盖原有文件。

      表14-10  对接FusionInsight Hadoop时deploy.properties参数说明

      参数

      说明

      HADOOP_NODES

      需要部署HDFS Plugin的所有Hadoop节点IP地址或主机名称。以“,”分隔多条记录。

      当一个节点有多个IP地址与第一个Hadoop节点网络互通时,仅需要填写一个。

      ACTIVE_OM_NODE

      设置为4.c中记录的HostName值。

      WHICH_HADOOP

      设置为“FI”

      NEED_UPDATE_CLUSTER

      采用缺省值“true”,不可更改。

      NEED_DO_MOUNT

      采用缺省值“true”,不可更改。

      NEED_DO_PRECREATE_DIR

      采用缺省值“true”,不可更改。

      FS_DNS_IP

      InfoEqualizer DNS IP地址,可在DeviceManager的设置 > 集群设置 > InfoEqualizer > 网络设置页面中查看。

      FS_DOMAIN_NAME

      文件系统初始化时所配置的“动态域名称”可在DeviceManager的设置 > 集群设置 > InfoEqualizer > 基本信息页面中查看。

      如果未配置,请选择设置 > 初始化配置,然后按照向导的提示信息完成配置。

      如果未配置,请参考OceanStor 9000文件系统管理员指南》“初始化系统”章节,启用InfoEqualizer,并配置“动态域名称”以及为存储节点增加动态前端IP地址后,再使用“动态域名称”

      FS_SHARE_DIR

      文件系统中的数据分析目录,即所配置的NFS文件共享目录。例如:/hadoop_dir。

      HADOOP_HOME

      采用缺省值,不可更改。

      LIB_LOCATIONS

      采用缺省值,不可更改。

      NEED_UPDATE_CLIENT

      当已安装Hadoop客户端时,设置为“true”;当尚未安装Hadoop客户端时,设置为“false”,同时下面三个参数值无需设置。

      HADOOP_CLIENT_NODE

      需要部署HDFS Plugin的所有Hadoop客户端IP地址或主机名称。以“,”分隔多条记录。

      当一个客户端有多个IP地址与第一个Hadoop节点网络互通时,仅需要填写一个。

      HADOOP_CLIENT_HOME

      安装Hadoop客户端时指定的安装目录。

      HADOOP_CLIENT_LIB_LOCATIONS

      采用缺省值,不可更改。

  5. 执行如下命令安装HDFS Plugin。

    node1:/temp/tools/tools # chmod 755 deployTools.sh                       
    node1:/temp/tools/tools # dos2unix deployTools.sh                        
    dos2unix: converting file deployTools.sh to UNIX format ...                   
    node1:/temp/tools/tools # ./deployTools.sh deploy      

    按照提示输入root用户密码。当提示“Completed”时,表明已安装成功。

  6. 重启OMS。
    1. 以root用户登录4.c中记录的HostName值对应节点。
    2. 执行如下命令。

      node1:/temp/tools # cd /opt/huawei/Bigdata/om-0.0.1/sbin
      node1:/opt/huawei/Bigdata/om-0.0.1/sbin # ./restart-oms.sh

  7. 备份并修改如表14-11所示的各对接参数。

    请确认已停止Hadoop集群。如未停止,请在FusionInsight Hadoop Manager中选择Services > More Actions > Stop cluster

    表14-11  对接参数

    组件

    参数

    说明

    HDFS

    fs.defaultFS

    设置为“nas:///”

    fs.nas.impl

    采用缺省值“com.huawei.nasfilesystem.ShareNASFileSystem”

    fs.AbstractFileSystem.nas.impl

    采用缺省值“com.huawei.nasfilesystem.WushanFs”

    fs.nas.task.nodes

    设置为1中记录的NodeManager服务IP地址列表。以“,”分隔多条记录。

    fs.nas.mount.dir

    采用缺省值“/mnt/nfsdata0”

    HBase

    fs.defaultFS

    设置为“nas:///”

    hbase.rootdir

    设置为“nas:/hbase”

    Spark

    fs.defaultFS

    设置为“nas:///”

    spark.eventLog.dir(在JDBCServer和SparkResource中)

    设置为“nas:/sparkJobHistory”

    SPARK_EVENTLOG_DIR

    设置为“nas:/sparkJobHistory”

    Yarn

    fs.defaultFS

    设置为“nas:///”

    yarn.nodemanager.container-executor.class

    设置为“DefaultContainerExecutor”

    Hive

    fs.defaultFS

    设置为“nas:///”

    Solr

    Mapreduce

    以修改HDFS组件的fs.defaultFS参数值为例,操作方法如下:

    1. 登录FusionInsight Hadoop Manager。
    2. 选择Services > HDFS > Configuration
    3. “Type”中选择“All”,在“Search”中输入“fs.defaultFS”
    4. “fs.defaultFS”参数名称和参数值以手工复制方式备份到本地。
    5. “fs.defaultFS”中输入“nas:///”,如图14-13所示。

      图14-13  修改对接参数

      请不要勾选下面对话框中“Restart the service”复选框,后续操作将统一启动Hadoop集群。

    6. 单击“Save Configuration”,在弹出的对话框中单击“OK”
  8. 下载并安装Hadoop客户端软件。

    参考FusionInsight Hadoop产品相关文档,在FusionInsight Hadoop Manager中下载客户端软件和配置文件,然后完成软件安装。

    说明:

    Hadoop客户端软件可被安装到Hadoop节点或外部服务器。OceanStor 9000均支持与其对接。

    如果在对接OceanStor 9000前已安装Hadoop客户端软件,建议在此操作前卸载该软件。

  9. 再次执行HDFS Plugin安装脚本,以便对接Hadoop客户端。
    1. 以root用户登录第一个Hadoop节点。
    2. 使用vi编辑器查看/temp/tools/tools/deploy.properties中的“NEED_UPDATE_CLIENT”“HADOOP_CLIENT_NODE”“HADOOP_CLIENT_HOME”参数值,将“NEED_UPDATE_CLUSTER”设置为“false”

      参数说明如表14-10所示。如果发现需要调整,请更改。

    3. 执行安装脚本。

      node1:/temp/tools/tools # cd /temp/tools/tools
      node1:/temp/tools/tools # ./deployTools.sh deploy      

      按照提示输入root用户密码。当提示“Completed”时,表明已安装成功。

  10. (可选)清理ZooKeeper配置。

    如果未启动过Hadoop集群,请略过本步骤。

    1. 登录FusionInsight Hadoop Manager,选择Services > ZooKeeper > Status > Start Service,然后单击“OK”
    2. 在Hadoop客户端中,执行如下命令。

      下面命令中的zkserverX,请调整为2中记录的ZooKeeper服务IP地址列表。

      # 进入Hadoop客户端安装路径(以/opt/client为例),配置环境变量。
      node1:~ # cd /opt/client
      node1:/opt/client # source bigdata_env
      # 当FusionInsight Hadoop采用安全模式时,请先执行命令kinit hbase,然后输入登录密码。
      
      node1:/opt/client # zkCli.sh -server zkserver1:24002,zkserver2:24002,zkserver3:24002,...
      ...
      WATCHER::
      WatchedEvent state:...
      
      # 按Enter键
      # 查看已存在目录
      ls /
      ...
      # 删除HBase根目录
      deleteall /hbase
      quit

  11. 启动Hadoop集群。

    在FusionInsight Hadoop Manager中选择Services > More Actions > Start cluster

翻译
下载文档
更新时间:2019-03-30

文档编号:EDOC1000162199

浏览量:30725

下载量:108

平均得分:
本文档适用于这些产品
相关文档
相关版本
Share
上一页 下一页