所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

FusionCloud 6.3.1 用户指南 (Region Type I) 10

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
安装Hadoop集群客户端

安装Hadoop集群客户端

操作场景

该操作指导安装工程师安装FusionInsight HD集群所有服务(不包含Flume)的客户端。FusionInsight HD针对不同服务提供了Shell脚本,供开发维护人员在不同场景下登录其对应的服务维护客户端完成对应的维护任务。

说明:
  • 通过Manager界面修改服务端配置或系统升级后,请重新安装客户端,否则客户端与服务端版本将不一致。
  • 如需安装Flume客户端,请参考《业务操作指南》进行配置。
  • 建议使用openJDK1.8.0_161。

前提条件

  • 安装目录可以不存在,会自动创建;但如果存在,则必须为空。目录路径不能包含空格。
  • 客户端节点为集群外部服务器时,必须能够与集群业务平面网络互通,否则安装会失败。
  • 客户端必须启用NTP服务,并保持与服务端时间一致,否则安装会失败。
  • 对于下载所有组件客户端的情况,HDFS与MapReduce是合一目录(“客户端目录/HDFS/”)。
  • 已从管理员处获取“组件业务用户”(默认用户或新增用户)和“密码”。
  • 安装和使用客户端可以使用任意用户进行操作,用户名和密码请从管理员处获取,本章节以“user_client”进行举例。要求“user_client”用户为服务器文件目录(如“/opt/client”)和客户端安装目录(如“/opt/hadoopclient”)的“owner”,两个目录的权限为“755”。

操作步骤

  1. 获取软件包。

    登录FusionInsight Manager系统,单击“服务管理”,在菜单栏中单击“下载客户端”,弹出“客户端类型”信息提示框。
    说明:

    在只安装单个服务客户端的场景中,选择“服务管理 > 服务名称 > 下载客户端”,弹出“客户端类型”信息提示框。

  2. “客户端类型”勾选“完整ARM客户端”。

    “仅配置文件”下载的客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。

  3. 是否在集群的节点中生成客户端文件?

    • 是,勾选“仅保存到服务器如下路径,如果存在客户端文件,会覆盖路径下已有的客户端文件。”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。单击“确定”,等待下载完成后,使用omm用户或root用户将获取的软件包“FusionInsight_Services_Client.tar”复制到将要安装客户端的服务器文件目录,例如“/opt/client”。然后执行步骤 5
    • 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,执行步骤 4

  4. 上传软件包。

    使用WinSCP工具,以准备安装客户端的用户(如“user_client”),将获取的软件包“FusionInsight_Services_Client.tar”上传到将要安装客户端的服务器文件目录,例如“/opt/client”。
    说明:

    客户端所在主机可以是集群内节点,也可以是集群外节点。当该节点为集群外部服务器时,必须能够与集群业务平面网络互通,并启用NTP服务以保持与服务端时间一致。

  5. 使用“PuTTY”工具以user_client用户登录将要安装客户端的服务器。
  6. 解压软件包。

    进入安装包所在目录,例如“/opt/client”。执行如下命令解压安装包到本地目录。

    tar -xvf FusionInsight_Services_Client.tar

  7. 校验软件包。

    执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如:

    sha256sum -c FusionInsight_Services_ClientConfig.tar.sha256

    FusionInsight_Services_ClientConfig.tar: OK     

  8. 解压获取的安装文件。

    tar -xvf FusionInsight_Services_ClientConfig.tar

  9. 配置客户端网络连接。

    1. 确保客户端所在主机能与解压目录下“hosts”文件(例如“/opt/client/FusionInsight_Services_ClientConfig/hosts”)中所列出的各主机在网络上互通。
    2. 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的“/etc/hosts”文件(更改此文件需要root用户权限)中设置集群所有节点主机名和业务平面IP地址映射,主机名和IP地址请保持一一对应。
    说明:
    • 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。
    • 如果采用yarn-client模式运行Spark任务,请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”,并将参数值设置为客户端的IP地址。
    • 当采用yarn-client模式时,为了Spark WebUI能够正常显示,需要在Yarn的主备节点(即集群中的ResourceManager节点)的hosts文件中,配置客户端的IP地址及主机名对应关系。

  10. 进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/hadoopclient”目录。

    cd /opt/client/FusionInsight_Services_ClientConfig

    执行./install.sh /opt/hadoopclient命令,等待客户端安装完成(以下只显示部分屏显结果)。

    Components client installation is complete.
    说明:
    • 如果已经安装的全部服务或某个服务的客户端使用了“/opt/hadoopclient”目录,再安装其他服务的客户端时,需要使用不同的目录。
    • 卸载客户端请删除客户端安装目录。
    • 如果要求安装后的客户端仅能被该安装用户(如“user_client”)使用,请在安装时加“-o”参数,即执行./install.sh /opt/hadoopclient -o命令安装客户端。

  11. 检查客户端是否安装成功,请登录客户端。

    1. 执行cd /opt/hadoopclient命令进入客户端安装目录。
    2. 执行source bigdata_env命令配置客户端环境变量。
    3. 执行以下命令,设置kinit认证,输入客户端用户登录密码。

      kinit admin

      Password for admin@HADOOP.COM: #输入admin用户登录密码(与登录集群的用户密码一致)
    4. 输入klist命令查询并确认权限内容。
      Ticket cache: FILE:/tmp/krb5cc_0 
        Default principal: admin@HADOOP.COM 
         
        Valid starting     Expires            Service principal 
        04/09/13 18:22:35  04/10/13 18:22:29  krbtgt/HADOOP.COM@HADOOP.COM

  12. 集群重装后,之前安装的客户端将不再可用,需要重新部署客户端。

    1. 使用PuTTY工具以root用户登录客户端所在节点。
    2. 使用以下命令查看客户端所在目录(下例中“/opt/hadoopclient”为客户端所在目录)。

      ll /opt

       
      drwxr-x---. 5 root root       4096 Dec  6 01:27 FusionInsight 
      drwxr-x---. 6 root root       4096 Nov 20 00:00 FusionInsight_Services_ClientConfig 
      drwxr-x---. 6 root root       4096 Dec 11 19:00 hadoopclient 
      drwxr-xr-x. 3 root root       4096 Dec  9 02:04 huawei 
      drwx------. 2 root root      16384 Nov  6 01:03 lost+found 
      drwxr-xr-x. 2 root root       4096 Nov  7 09:49 rh 
           
    3. 使用rm -rf命令删除所有客户端程序所在文件夹内的文件(例如删除“/opt/hadoopclient”文件夹)。

      rm -rf /opt/hadoopclient

    4. 重新安装客户端。

翻译
下载文档
更新时间:2019-08-15

文档编号:EDOC1100043090

浏览量:13542

下载量:555

平均得分:
本文档适用于这些产品
相关文档
相关版本
Share
上一页 下一页