所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级

FusionCloud 6.3.1 故障处理 06

评分并提供意见反馈 :
华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言,希望能帮助您更容易理解此文档的内容。 请注意:即使是最好的机器翻译,其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任,并建议您参考英文文档(已提供链接)。
FAQ

FAQ

如何配置部署系统节点NTP时钟源

根据用户对NTP的要求,各服务需要使用相同的时钟源,以避免时间有差距,导致各服务相互之间调用出现异常。部署系统节点时钟源默认设置为“LOCAL”,如果用户希望配置自己的NTP服务器,需在“/etc/ntp.conf”中进行配置。

背景信息

配置部署系统节点同步策略文件“/etc/ntp.conf”,以便非部署系统节点在初始化时同步且生效配置策略。

操作步骤
  1. 使用PuTTY工具以root用户登录部署系统节点regionAlias-OM-Global-Deploy01。
  2. 执行以下命令,编辑操作系统NTP服务配置文件。

    vim /etc/ntp.conf

  3. 在配置文件最后一行添加需要修改的NTP时钟源。示例如下:

    server NTP时钟源1的IP地址 maxpoll 4 minpoll 3 prefer
    server NTP时钟源2的IP地址 maxpoll 4 minpoll 3
    说明:

    prefer表示优先从NTP时钟源1的IP地址同步。

  4. 按“Esc”,输入“:wq”后按“Enter”保存退出编辑器。
  5. 执行以下命令,重启NTP服务。

    service ntp restart

    当回显如下信息时,表示配置NTP时钟源成功。

    Shutting down network time protocol daemon (NTPD)            done
    Starting network time protocol daemon (NTPD)                 done

如何上传和扫描软件包

介绍将软件安装包上传到部署系统节点并执行扫描的操作方法。

前提条件

已获取软件安装包,软件安装包的获取方式请参见获取软件包和资料包

操作步骤
  1. 使用FileZilla工具以root用户将软件包“ManageOne-6.3.1.zip”和数字签名文件“ManageOne-6.3.1.zip.asc”上传到部署节点regionAlias-ManageOne-Deploy01的“/opt/pub/software/solutions”目录下。

    说明:

    手册中软件包名称请以当前版本对应的实际软件包名称为准,手册中涉及软件包名称的操作请根据实际的软件包名称来操作。

  2. 执行以下命令,设置软件包的属组及读写权限。

    cd /opt/pub/software/

    chown -R ossadm:ossgroup *

    find /opt/pub/software/ -type f | xargs chmod 640

    find /opt/pub/software/ -type d | xargs chmod 750

  3. 打开浏览器,在地址栏中输入“https://部署节点浮动IP地址:31943”,按“Enter”键。使用admin用户登录部署面。
  4. 扫描软件包。

    1. 在主菜单中选择“部署 > 特性部署 > 软件包”。
    2. 在“软件包”页面,单击“扫描”,根据界面提示,扫描软件包。
    3. 在“任务列表”页面,查看扫描进度和状态,等待任务执行完成。

      如果“进度”为100%,“状态”为“成功”,表示软件包扫描执行完成。

    4. 确认软件包扫描成功。
      1. 选择“部署 > 特性部署 > 软件包”。
      2. 在“软件包”页面查看是否存在ManageOne-6.3.1,如果存在,则表示扫描成功,否则请联系技术支持工程师处理。
        说明:
        • 扫描过程中,服务部署系统会自动进行软件包的合法性和完整性校验。不合法的软件包不会显示在软件包列表中。
        • 手册中软件包名称请以当前版本对应的实际软件包名称为准,手册中涉及软件包名称的操作请根据实际的软件包名称来操作。

批处理文件运行失败时如何处理

由于PC上的操作系统丢失了DLL文件,导致在运行.bat批处理文件时提示程序无法正常启动。

操作步骤
  1. 在PC上双击运行安装工具包“ManageOne_init_tools.zip”解压目录“/check/3rdTools”文件夹中的“vcredist_x86.exe”。
  2. 在弹出的对话框中勾选“我已阅读并接受许可条款”,单击“完成”。

    当提示“安装完毕”时,单击“完成”,关闭对话框。

  3. 在PC上双击安装工具包“ManageOne_init_tools.zip”解压目录中的.bat批量处理文件,是否弹出错误提示框。

    • 是,执行步骤 4
    • 否,该问题解决。

  4. 获取相关DLL文件,并将该文件放置于PC的对应目录下,路径如表26-24所示。

    表26-24 DLL文件放置路径

    如果...

    则...

    操作系统版本为Windows 64位

    放置于路径“C:\Windows\SysWOW64”和“C:\Windows\System32”

    操作系统版本为Windows 32位

    放置于路径“C:\Windows\System32”

    如果双击.bat批量处理文件仍然弹出错误提示框,请联系技术支持工程师。

服务安装失败时如何处理

介绍关于服务安装失败时的重试方法。

如何重试安装失败的服务实例

本节以“MOVDC/Global/regionAlias”服务实例部署失败为例,介绍重试安装失败的服务实例的操作方法。

操作步骤
  1. 执行以下操作,查找部署失败的微服务。

    1. 在主菜单中选择“部署 > 特性部署 > 服务列表”。
    2. 单击部署失败的服务实例名称“MOVDC/Global/regionAlias”。
    3. 在“部署历史”区域的“部署状态”列,单击“失败”状态。
    4. 在页面中“资源部署状态”区域,查看并记录部署失败的微服务名称“MOVDCService”。

  2. 执行以下操作,查找微服务部署失败的节点。

    1. 选择“部署 > 微服务部署 > 环境列表”。
    2. 在右上角搜索区域中选择“全部”,“Product”,在搜索框中输入“MOVDCService”。
    3. 单击环境名称下的“MOVDCService/Global/regionAlias”。
    4. 在“服务器列表”区域中查看该服务的“部署状态”为“失败”的节点。

  3. 执行以下操作,查找并重启该服务的主微服务。

    1. 使用PuTTY工具以sopuser用户登录2.d中微服务部署失败的节点。

      用户sopuser的默认密码为D4I$awOD7k。

    2. 执行以下命令,切换到ossuser用户。

      su - ossuser

      根据系统提示,输入用户ossuser的密码。用户ossuser的默认密码为79y52unx@R。

    3. 执行以下命令,查询MOVDCService服务的主微服务。

      cd /opt/oss/envs

      find -name start.sh 2>/dev/null| xargs grep MOVDCService | awk -F'-' '{print $2}' | awk -F'/' '{print $1}'

      命令中的微服务名称请根据实际情况替换。系统回显如下类似信息:

      MOVDCService
      MOLoginAgentService
      • 如果系统回显信息中,除所查询的微服务外,还有另外一个微服务,则该微服务即为所查询微服务的主微服务。继续执行3.d,重启该主微服务。

        例如上述回显信息表示,MOVDCService的主微服务为MOLoginAgentService。

      • 如果系统回显信息中,除所查询的微服务外,没有其他微服务,则表示该服务为主微服务,继续执行步骤 4
    4. 执行以下命令,切换到ossadm用户。

      su - ossadm

      根据系统提示,输入用户ossadm的密码。用户ossadm的默认密码为ZJE%JLq5qx。

    5. 执行以下命令,停止MOVDCService微服务并重启MOLoginAgentService微服务。

      . /opt/oss/manager/bin/engr_profile.sh

      ipmc_adm -cmd stopapp -app MOVDCService

      ipmc_adm -cmd restartapp -app MOLoginAgentService

  4. 执行以下操作,重新部署服务实例。

    1. 在主菜单中选择“部署 > 特性部署 > 服务列表”。
    2. 单击部署失败的服务实例名称“MOVDC/Global/regionAlias”。
    3. 在“部署历史”区域的“部署状态”列,单击“失败”状态行后的“重试”。
    4. 在“服务列表”页面查看所安装实例的当前部署状态。

如何卸载相关服务实例并重新安装服务

介绍关于如何卸载相关服务实例并重新安装服务的操作方法。

操作步骤

此处以Deploy特性为例介绍卸载整个Deploy相关服务实例并重新安装服务的操作方法。

  1. 登录服务部署系统。
  2. 选择“部署 > 特性部署 > 软件包”。
  3. 在“软件包”页面右上方的“筛选”下拉列表中选择“全部”,在搜索输入框中输入“ManageOne”,按“Enter”。

    说明:
    • 如果搜索结果为空,请在“软件包”页面左上方单击“扫描”按钮,执行完扫描后再进行搜索。如果扫描结果依然为空,请参考如何上传和扫描软件包上传软件安装包后再执行扫描操作。
    • 上传软件包时如果没有同步上传软件包的数字签名文件“ManageOne-6.3.X.zip.asc”,会导致后续在服务部署系统上扫描不到该软件包。

  4. 单击“ManageOne-6.3.X”软件包“操作”列的

    说明:

    手册中涉及软件包名称的操作请根据当前版本对应的实际软件包名称来操作。

  5. 在“配置部署信息”区域,按照表26-25设置配置项信息。

    表26-25 配置项参数说明

    配置项

    所有者

    system

    所属地区

    需与表26-4环境规划中的“区域编号”参数值保持一致。例如:cn-global-1。

    Stage

    Product

    区域别名

    需与表26-4环境规划中的“区域别名”参数值保持一致。例如MOC。

    特性集

    选择“Manager-HA-Deploy”。

  6. 选择“Deploy”特性。
  7. 配置安装参数,通过单击自动配置参数值,

    配置项如表26-26所示。
    表26-26 自动配置该参数值配置参数说明

    序号

    参数名

    参数说明

    示例

    1

    MGGlobalAccessLBAddress

    部署节点的浮动IP地址。

    10.31.32.53

  8. 单击“下一步”。
  9. 图26-1查看Deploy所创建的所有服务实例。

    图26-1 Global Deploy相关服务实例

  10. 依次卸载Manager相关的所有服务实例。

    1. 选择“部署 > 特性部署 > 服务列表”。
    2. 单击需要卸载的安装服务实例所在行右侧的
    3. 单击“确定”,等任务执行完毕。

  11. 卸载完Manager服务涉及的所有服务实例后,执行步骤 1步骤 9并单击“确定”重新安装Deploy服务。

如何创建虚拟机

本章节以OpenStack+KVM场景创建虚拟机为例介绍如何创建虚拟机的方法。其他场景可参考OpenStack+KVM场景创建虚拟机。

以FusionCloud解决方案500VM管理规模为例,ManageOne虚拟机的创建信息如表26-27

FusionCloud解决方案其他管理规模下的虚拟机硬件的配置要求请参见《ManageOne 6.3.1 安装规划指南》

如果不安装日志中心服务,则无需创建日志中心虚拟机regionAlias-ManageOne-LOG01/02。

如果不安装自动化运维服务,则无需创建自动化运维虚拟机regionAlias-ManageOne-AutoOps01/02。

表26-27 虚拟机创建规划信息

虚拟机节点名称

可用分区

镜像

磁盘类型

虚拟机规格

vCPU(个)

内存(MB)

系统盘(GB)

数据盘(GB)

网络规划

IP地址

regionAlias-ManageOne-Deploy01/02

manage-az

使用注册镜像章节注册的镜像

云磁盘

mo.om.small2

4

14336

8

60

Public_Service网络平面

手动配置环境规划中指定的IP地址

regionAlias-ManageOne-Service01/02/03/04

mo.small3

6

22528

8

130

regionAlias-ManageOne-DB01/02

mo.small2

4

12288

8

200

regionAlias-ManageOne-IAMService01/02

mo.iam.small

4

6144

8

30

regionAlias-ManageOne-LOG01/02

mo.log.small

4

10240

8

500+300*(Region个数-1)

regionAlias-ManageOne-AutoOps01/02

mo.auto.small

2

4096

8

80

  • 虚拟机IP地址支持自动分配和指定两种创建方式,如果上层解决方案有相关要求,以上层解决方案为准。
  • 日志中心的数据盘规格,需要根据规划的Region个数确定。

    日志中心数据盘大小(GB)=该管理规模下基础磁盘规格+(规划的Region个数-1)*300(GB)

    例如:当规划安装2个Region的场景下,日志中心数据盘大小为500+(2-1)*300=800GB。

注册镜像
操作步骤
  1. 将获取到的虚拟机模板文件ManageOne_OSImg_EulerOS2.2_basetemplate_qcow2.zip解压到本地PC。
  2. 在Service OM首页中,选择"计算 > 镜像服务 > 镜像",单击“注册”。
  3. 根据表26-28填写/设置参数。确认信息无误,单击“注册”。

    表26-28 注册镜像的参数示例

    参数名称

    参数说明

    ManageOne的镜像参数示例

    服务化能力

    不支持

    不支持

    类型

    镜像的类型,包括FusionCompute、KVM、VMware和Ironic。

    KVM

    镜像名称

    长度不能超过255字节。

    ManageOne

    适用操作系统

    与镜像文件中使用的操作系统保持一致。

    Linux

    操作系统版本

    与镜像文件中使用的操作系统保持一致。

    EulerOS 2.2 64bit

    最小磁盘(GB)

    使用该镜像创建虚拟机时,对于虚拟机磁盘大小的最低要求,即不小于制作镜像时使用的虚拟机磁盘。

    8

    最小内存(MB)

    使用该镜像创建虚拟机时,对于虚拟机内存大小的最低要求。

    4096

    硬盘设备类型

    系统磁盘读写数据时与主机通讯的总线类型。注册Euler/SuSE等Linux镜像时可设置为virtio或scsi,建议设置为“virtio”。

    virtio

    上传方式

    • “上传方式”选择“HTTPS”,表示通过本地上传镜像文件。
    • “上传方式”选择“NFS”,表示通过NFS服务器上传镜像文件。

    HTTPS

    镜像文件

    可选择存放在本地PC终端的虚拟机镜像文件。

    ManageOne_OSImg_EulerOS2.2_basetemplate.qcow2

    磁盘格式

    与镜像文件中的磁盘格式设置保存一致。

    qcow2

    说明:

    除表中所列出的参数外,“注册镜像”对话框中的其他参数无需填写或修改,保持默认值即可。

创建规格
操作步骤
  1. 在Service OM首页中,选择"计算 > 弹性云服务器 > 规格",单击“创建规格”。
  2. 根据表26-29设置参数。确认信息无误,单击“确定”,完成ManageOne虚拟机规格的创建。

    如果不安装日志中心服务,则无需创建规格mo.log.small。

    如果不安装自动化运维服务,则无需创建规格mo.auto.small。

    表26-29 创建规格的参数示例

    参数名称

    参数说明

    mo.om.small2

    mo.small3

    mo.small2

    mo.iam.small

    mo.log.small

    mo.auto.small

    类型

    使用该规格创建出的计算示例的类型

    虚拟机

    虚拟机

    虚拟机

    虚拟机

    虚拟机

    虚拟机

    启动源

    • 本地磁盘:使用主机的本地磁盘。相对于云磁盘,I/O性能稳定、吞吐量高、但不受VDC配额限制,也无法统计使用量。性能与主机的负载情况有关,且存在单点故障风险,适用于对稳定性、可靠性要求不高的短期运行的系统。建议将重要数据同步到其他实例或备份到云磁盘。
    • 云磁盘:使用共享存储。数据可靠性高、存储性能高,支持热迁移、磁盘升降配置。适用于对稳定性、可靠性要求较高的长期运行的系统。

    云磁盘

    云磁盘

    云磁盘

    云磁盘

    云磁盘

    云磁盘

    名称

    长度不能超过255字符。只能用英文字母、数字、中划线、下划线、小数点组成。

    mo.om.small2

    mo.small3

    mo.small2

    mo.iam.small

    mo.log.small

    mo.log.small

    vCPU个数

    取值范围是1到256的整数。

    4

    6

    4

    4

    4

    2

    内存(MB)

    取值范围是1到6291456的整数。

    14336

    22528

    12288

    6144

    10240

    4096

    系统卷(GB)

    使用该规格创建出的计算示例的系统磁盘的大小。必须大于或等于镜像的系统磁盘大小,否则会导致计算实例创建失败。

    8

    8

    8

    8

    8

    8

    虚拟机vCPU绑定物理线程

    • 启用:将虚拟机的vCPU和物理线程进行绑定,减少CPU竞争,提高性能。
    • 不启用:不将虚拟机的vCPU和物理线程进行绑定。

    不启用

    不启用

    不启用

    不启用

    不启用

    不启用

    NUMA亲和性

    虚拟机VCPU、内存等占用的物理资源是否在一个NUMA节点内分配。如果设置了大页内存,或启用了虚拟机vCPU绑定物理线程、高精度虚拟机,默认启用NUMA亲和性,且修改为不启用不能生效。

    不启用

    不启用

    不启用

    不启用

    不启用

    不启用

  3. 重复步骤 1~步骤 2,完成ManageOne不同规格虚拟机的创建。
创建虚拟机组
背景信息

虚拟机组是用来管理虚拟机之间的调度策略。创建虚拟机时指定虚拟机组,系统会根据虚拟机组的策略定义该组内虚拟机之间的调度规则。选择亲和性组策略为“反亲和性”,避免相同业务类型的虚拟机部署在同一物理主机上。

ManageOne虚拟机需要创建的虚拟机组如表26-30所示。虚拟机组名称为举例,请根据实际规划进行创建。

表26-30所列出的虚拟机外,业务虚拟机和IAM虚拟机需要在创建虚拟机计算实例时,手动选择不同物理主机,确保满足可靠性规则,具体请参见创建虚拟机计算实例表26-32

如果不安装日志中心服务,则无需创建虚拟机组LOG_VM_GROUP。

如果不安装自动化运维服务,则无需创建虚拟机组AUTOOPS_VM_GROUP。

表26-30 ManageOne虚拟机组

虚拟机名称

所属虚拟机组

regionAlias-ManageOne-Deploy01

regionAlias-ManageOne-Deploy02

MO_Deploy_VM_GROUP

regionAlias-ManageOne-DB01

regionAlias-ManageOne-DB02

DB_VM_GROUP

regionAlias-ManageOne-LOG01

regionAlias-ManageOne-LOG02

LOG_VM_GROUP

regionAlias-ManageOne-AutoOps01

regionAlias-ManageOne-AutoOps02

AUTOOPS_VM_GROUP

操作步骤
  1. 在Service OM首页中,选择“计算 > 弹性云服务器 > 虚拟机组 ”,单击“创建”
  2. 输入虚拟机组的名称为“MO_Deploy_VM_GROUP”,选择“策略”“反亲和性” ,单击“确定”

    说明:

    反亲和性:同一个虚拟机组中的虚拟机不能共存在同一台主机上。指定反亲和性虚拟机组创建虚拟机时,如果虚拟机组里已经有虚拟机,则不能指定组内其他虚拟机所在的主机创建,否则会导致虚拟机创建失败。虚拟机创建成功后,可以通过迁移打破反亲和性策略。

  3. 重复执行步骤 1~步骤 2,依次创建名称为“DB_VM_GROUP”“AUTOOPS_VM_GROUP”的虚拟机组。
创建虚拟机计算实例
操作步骤
  1. 在Service OM首页中,选择“计算 > 弹性云服务器 > 计算实例 ”,单击“创建”。此处以regionAlias-ManageOne-Deploy01为例创建虚拟机计算实例。
  2. 选择“可用分区”为“manage-az”,单击“下一步”
  3. 选择“镜像名称”为“ManageOne”,选“系统盘类型”为“云磁盘”,单击“下一步”
  4. 选择“规格”为“mo.om.small2”,单击“下一步”
  5. 根据表26-31设置参数,其他参数使用系统缺省值。确认信息无误,单击“下一步”

    表26-31 创建ManageOne部署节点虚拟机的参数示例

    参数名称

    参数说明

    参数示例

    端口类型

    缺省值。

    软交换

    网络

    • 共享网络,一般用于业务IP。
    • 非共享网络,一般用于管理IP。

    非共享网络

    项目

    根据实际情况设置。

    项目需要在Public_Service网络平面内。

    dc_system_pool (ID:xxx)

    Public_Service (VLAN ID:xxx)

    IP

    • 自动分配,由系统自动分配。
    • 指定,可以根据可用IP地址段以及网络规划填写。

      虚拟机IP支持自动分配和指定两种创建方式,如果上层解决方案有相关要求,以上层解决方案为准。

    根据表26-27中统一规划的IP指定IP地址。

    说明:

    此步骤不需要添加网卡和配置浮动IP相关信息。

  6. 填写“虚拟机名称”为“MOC-ManageOne-Deploy01”,“计算机名称”为“Deploy01”。
  7. 选择部署虚拟机“MOC-ManageOne-Deploy01”的主机。

    说明:

    不同的虚拟机需要部署在不少于三台物理服务器上,从而提高服务的物理可靠性。这样可以避免由于一个物理服务器故障后的服务中断,产生单点故障。

    对于部署节点虚拟机、数据库节点虚拟机、日志中心节点虚拟机和自动化运维虚拟机,选择“虚拟机组”时,请参考如何创建虚拟机中创建的虚拟机组进行选择。

    对于运维节点虚拟机、运营节点虚拟机和IAM节点虚拟机,不选择“虚拟机组”,请参考表26-32的原则选择物理机进行部署,以满足ManageOne系统的高可靠性。
    表26-32 虚拟机部署时与物理机的对应关系

    物理机

    虚拟机

    物理机1

    regionAlias-ManageOne-Service01

    regionAlias-ManageOne-IamService01

    物理机2

    regionAlias-ManageOne-Service02

    regionAlias-ManageOne-Service04

    物理机3

    regionAlias-ManageOne-Service03

    regionAlias-ManageOne-IamService02

  8. 确认信息无误,单击“完成”,开始创建虚拟机。每台虚拟机创建时间约需要15分钟。
  9. 选择“计算 > 弹性云服务器 > 计算实例 ”,展开创建好的虚拟机的基本信息,记录创建好的虚拟机ID。
  10. 参考MOC-ManageOne-Deploy01虚拟机节点的创建重复步骤 1~步骤 9创建ManageOne的其他虚拟机节点,参数设置如表26-27所示。

    如果不安装日志中心服务,则无需创建日志中心虚拟机regionAlias-ManageOne-LOG01/02。

    如果不安装AutoOps服务,则无需创建运维自动化虚拟机regionAlias-ManageOne-AutoOps01/02。
    说明:

    虚拟机创建成功后默认用户名为“root”,密码为“Changeme_123”。

创建并绑定磁盘
操作步骤
  1. 在Service OM首页中,选择“存储 > 云硬盘 > 磁盘”,单击“创建”。
  2. 配置磁盘参数,以regionAlias-ManageOne-Deploy01为例。

    磁盘容量规格可参见表26-27
    表26-33 参数项解释

    参数名称

    参数说明

    示例

    名称

    输入磁盘的名称。

    MOC-ManageOne-Deploy01

    可用分区

    可用分区

    manage-az

    容量(GB)

    输入磁盘的容量大小。

    60

    磁盘类型

    选择磁盘所属磁盘类型。

    manager.fsa

  3. 单击“确定”。
  4. 选择“存储 > 云硬盘 > 磁盘”。
  5. 在磁盘“MOC-ManageOne-Deploy01”所在行,选择“更多 > 绑定虚拟机”。
  6. 选择待绑定的虚拟机“MOC-ManageOne-Deploy01”,单击“确定”。
  7. 重复步骤 1~步骤 6ManageOne的其他虚拟机节点创建并绑定磁盘。

如何手工初始化虚拟机数据盘

由于环境综合因素等原因导致初始化虚拟机数据盘时失败,此时需要单独对初始化数据盘失败的虚拟机节点进行手工初始化数据盘操作。

操作步骤
  1. 在PC端进入ManageOne_init_tools文件夹的“/bin”目录,获取“create_vol_euler.sh”文件。
  2. 依次使用FileZilla工具以root用户将“create_vol_euler.sh”文件上传到需要手工初始化数据盘的虚拟机节点的“/opt/”目录下。
  3. 依次使用PuTTY工具以root用户登录需要手工初始化数据盘的虚拟机节点,执行初始化虚拟机数据盘操作。
  4. 执行以下命令,查看并记录新增的数据盘名称。

    fdisk -l

    回显如下类似信息:

    Disk /dev/xvda: 75.2 GB, 75161927680 bytes
    255 heads, 63 sectors/track, 9137 cylinders, total 146800640 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x00082be6
    
        Device Boot      Start         End      Blocks   Id  System
    /dev/xvda1   *        2048     2088959     1043456   83  Linux
    /dev/xvda2         2088960    35633151    16772096   83  Linux
    /dev/xvda3        35633152    71280639    17823744   83  Linux
    /dev/xvda4        71280640   146800639    37760000    f  W95 Ext'd (LBA)
    /dev/xvda5        71282688    73369599     1043456   83  Linux
    /dev/xvda6        73371648    83843071     5235712   83  Linux
    /dev/xvda7        83845120    90124287     3139584   83  Linux
    /dev/xvda8        90126336   132055039    20964352   83  Linux
    /dev/xvda9       132057088   136247295     2095104   83  Linux
    /dev/xvda10      136249344   146800639     5275648   83  Linux
    
    Disk /dev/xvde: 569.1 GB, 569083166720 bytes
    255 heads, 63 sectors/track, 69187 cylinders, total 1111490560 sectors
    Units = sectors of 1 * 512 = 512 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x00000000
    
    Disk /dev/xvde doesn't contain a valid partition table
    说明:

    回显示例信息时,“/dev/xvda”即为系统盘名称,“/dev/xvde”即为数据盘名称。数据盘的设备编号按e、f、g...顺序依次递增,例如“/dev/xvde”、“/dev/xvdf”...,系统盘和数据盘名称具体以实际为准。

  5. 执行以下命令,初始化虚拟机数据盘。

    cd /opt

    bash create_vol_euler.sh 数据盘名称

    单台虚拟机执行过程需要大约2分钟,当回显以下信息时则表示初始化虚拟机数据盘成功。

    Execute create_vol_euler.sh successfully

如何强制重启虚拟机

现象描述

虚拟机无法被访问或者虚拟机长时间无响应。

处理步骤

请联系实验室管理员进行强制重启虚拟机。

后续处理

参考验证结果验证处理结果。

如何避免因停电等故障导致的虚拟机时间错误

现象描述

由于ManageOne的部署节点未配置外部NTP时钟源,当出现停电等故障时,ManageOne的节点时间与当地时间不一致,虚拟机时间错误。

处理步骤
  1. 使用PuTTY工具以root用户登录regionAlias-ManageOne-Deploy01节点。

    默认密码:Changeme_123。

  2. 执行如下命令,编辑操作系统NTP服务配置文件。

    vim /etc/ntp.conf

  3. 在配置文件最后一行添加需要的NTP时钟源。示例如下:

    server <NTP时钟源1的IP地址> maxpoll 4 minpoll 3 prefer
    server <NTP时钟源2的IP地址> maxpoll 4 minpoll 3
    说明:

    prefer表示优先从<NTP时钟源1的IP地址>同步。

  4. 按“Esc”,输入以下命令,保存退出。

    :wq!

  5. 执行如下命令,重启NTP服务。

    service ntp restart

  6. 执行如下命令, 查看NTP服务运行状态。

    ntpq -p

    系统回显如下类似信息:

       remote           refid      st t when poll reach   delay   offset  jitter 
    ============================================================================== 
    *192.168.8.12    192.168.8.11    1 u   29   64  177    0.240    0.093   1.222 

    “192.168.8.12”为NTP服务器时间源的IP地址,“*”号表示NTP服务状态正常,需大约5分钟才会显示。

如何清理磁盘空间

现象描述

在登录系统、安装软件包等操作时,很容易出现操作失败的现象。

可能原因

系统长期运行而未进行过磁盘空间大小清理,导致磁盘空间不足。

处理步骤

删除文件不可恢复,请谨慎选择以下操作。

  1. 使用PuTTY工具以root用户登录regionAlias-ManageOne-Deploy01节点。

    默认密码:Changeme_123。

  2. 执行以下命令,确认各分区使用情况。

    df -h

    如果回显信息中的某个分区的使用率超过了80%,建议进行清理。

    Filesystem                     Size  Used Avail Use% Mounted on
    /dev/xvda3                      17G  2.5G   14G  16% /
    devtmpfs                       7.8G  152K  7.8G   1% /dev
    tmpfs                          7.8G     0  7.8G   0% /dev/shm
    /dev/xvda1                    1003M   50M  903M   6% /boot
    /dev/xvda5                    1003M   18M  935M   2% /home
    /dev/xvda10                    5.0G  915M  3.9G  19% /usr
    /dev/xvda6                     3.0G  176M  2.7G   7% /var
    /dev/xvda7                     5.0G  3.0G  1.7G  64% /var/log
    /dev/xvda8                    1003M   18M  935M   2% /var/log/audit
    /dev/xvda9                    1003M   18M  935M   2% /var/tmp
    /dev/mapper/oss_vg-opt_vol      89G   76G   13G  85% /opt
    /dev/mapper/oss_vg-optlog_vol   30G  178M   28G   1% /opt/log

  3. 以清理“/opt”目录文件为例。执行以下命令,进入“/opt”目录,并使目录所占的空间按照从大到小的顺序显示(单位:兆)。

    cd /opt

    du -sm * |sort -rn

    从如下回显信息中可知pub目录占用空间最大,约12.5G。

    12492    pub
    5887     tools
    2598     mysql
    1092     oss
    762      log
    96       share
    15       redis
    1        sudobin2
    1        lost+found
    1        aquota.user
    1        aquota.group

  4. 执行以下命令,进入“pub”目录,并使目录所占空间按照从大到小的顺序显示(单位:兆)。

    cd pub

    du -sm * |sort -rn

    从如下回显信息中可知software目录占用空间最大。

    12492    software
    557      upload
    1        manager
    1        backup_local

  5. 参考步骤 4中的命令,进入“software”目录,找出占用空间较大并且不再使用的文件。
  6. 执行以下命令,删除文件。

    rm -r xxx

    说明:

    xxx表示需要删除的文件。

  7. 如果存在其他使用率超过80%的目录,请参考以上操作清理磁盘空间,否则请跳过本步骤。
后续建议

定期检查并清理磁盘空间。

如何设置浮动IP地址

背景信息

安装业务前,由于业务特性要求可能需要在服务器上配置一个临时的浮动IP地址,而该临时浮动IP地址在业务没有接管前,服务器操作系统被意外重启了,导致该临时浮动IP地址失效而无法继续安装业务,此时需要在服务器上重新配置临时浮动IP地址。

前提条件
  • 已获取操作系统sopuserroot用户的密码。
  • 已获取服务器的浮动IP地址。
处理步骤
  1. 使用PuTTY工具以sopuser用户登录服务器操作系统。
  2. 执行如下命令,切换到root用户。

    su - root

    默认密码:Changeme_123

  3. 执行如下命令,配置服务器的浮动IP地址。

    ifconfig eth0:0 <服务器的浮动IP地址>

  4. 执行如下命令,查看浮动IP地址是否配置正确。

    ifconfig eth0:0

如何检查IP地址冲突

现象描述

网络连接不稳定或者异常闪断的现象。

处理步骤

以下以节点的IP地址为192.168.1.100,对应的网卡名称为eth0作为示例,请根据实际情况替换。

  1. 使用PuTTY工具以root用户登录待检查的节点。
  2. 执行如下命令,检查是否存在冲突的IP地址。

    arping -D -I eth0 -c 2 192.168.1.100

    • 如果回显如下类似信息,说明不存在冲突的IP地址。
      ARPING 192.168.1.100 from 0.0.0.0 eth0
      Sent 2 probes (2 broadcast(s))
      Received 0 response (s)
    • 如果回显如下类似信息,则存在冲突的IP地址。
      ARPING 192.168.1.100 from 0.0.0.0 eth0
      Unicast reply from 192.168.1.100 [20:0B:C7:A0:32:31] for 192.168.1.100 [20:0B:C7:A0:32:31] 0.810ms
      Sent 1 probes (1 broadcast(s))
      Received 1 response (s)

如何在异常下电后上电系统

现象描述

在服务器异常下电并且上电之后,需确保所有业务恢复正常运行。

说明:
操作影响

服务部署系统具有随服务器操作系统上电自动启动服务机制,对于服务器上电顺序无要求,系统上电后所有业务将自动恢复正常运行。

处理步骤

对所有服务器上电,上电无先后顺序要求。

如何恢复因掉电导致的主备服务故障

现象描述

当出现整体停电故障时,ManageOne可能因文件异常,出现主备服务倒换异常,导致主备服务出现故障。

处理步骤
  1. 使用浏览器登录ManageOne部署面。

    登录地址:https://部署面浮动IP地址:31943。例如:https://192.168.0.1:31943。

    默认帐号:admin,默认密码:Huawei12#$。

  2. 在主菜单中选择“部署 > 微服务部署 > 环境列表”。
  3. 如果是运营面故障,在搜索框中输入“ERService/Global”,按回车搜索。
  4. 如果是运维面故障,在搜索框中输入“ERService/OMGlobal” ,按回车搜索。
  5. 在搜索结果列表中,单击环境别名为“ERService”记录的“环境名称”,进入“环境列表”页面。
  6. 单击“部署动作”中的“部署”,进入微服务部署页面。
  7. 单击“确定”,等待任务执行完毕。
  8. 在主菜单中选择“部署 > 微服务部署 > 任务列表”。
  9. 在“任务列表”页面查看所安装微服务的当前部署状态。

    • 如果实例部署状态显示,则表示微服务实例安装成功且服务进程已启动。
    • 如果实例部署状态显示,请卸载微服务,并重新部署。

如何处理虚拟机异常上下电导致的磁盘异常

问题描述

一般是由于异常断电,常见为设备被强制关机/重启,存储突然断连等导致VM 磁盘异常。

现象说明

开机出现如下异常显示,则需要按照本文中操作步骤进行处理。

systemd-fsck[605]: /dev/sda2: UNEXPECTED INCONSISTENCY; RUN fsck MANUALLY.  
systemd-fsck[605]: (i.e., without -a or -p options)  
[ 13.652068] systemd-fsck[605]: fsck failed with error code 4.  
Welcome to emergency mode. Use "systemctl default" or ^D to activate default  mode.  
Give root password for maintenance  
(or type Control-D to continue): 
操作步骤
  1. 输入“root”帐号的密码进入emergency mode进行磁盘修复。
  2. 根据系统提示,使用以下命令进行修复。

    fsck -y 磁盘名

    例如:损坏磁盘名为/dev/sdb2,则执行命令fsck -y /dev/sdb2

    当存在如下提示,表示磁盘损坏。

    fsck.ext4 /dev/sda2  
    e2fsck 1.42.7 (21-Jan-2013)  
    /dev/sda2 is mounted.  
    e2fsck: Cannot continue, aborting. 

    此时表示/dev/sda2是挂载状态不能被fsck修复,可以尝试使用命令mount -on remount,ro /dev/sda2将磁盘设置为read only,再使用fsck /dev/sda2进行修复,修复完成后输入exit即可恢复正常。

  3. 确认EulerOS的“root”密码。

    • 如果EulerOS忘记“root”密码,则执行步骤 4
    • 如果密码已知,则执行步骤 5

  4. 执行以下步骤,恢复“root”密码。

    1. 在“grub”选项菜单按e进入编辑模式,输入grub帐户“root”及密码“Huawei#12”。
    2. 在“linux16 /boot/vmlinuz-****”行末尾增加“init=/bin/bash”(不含引号)。
    3. 在键盘上同时按下“ctrl”和“x”,启动到shell,进入单用户模式。
    4. 执行以下命令,挂载文件系统为可写模式。

      # mount -no remount,rw /

    5. 执行passwd命令,并按照提示修改“root”帐号的密码。

      如果之前系统启用了selinux,必须运行以下命令,否则将无法正常启动系统:

      # touch /.autorelabel

      运行命令exec /sbin/init来正常启动,或者用命令exec /sbin/reboot进入单用户后,可执行以下命令,对所有“/etc/fstab”里的文件进行检查:

      mount -no remount,ro /

      umount -a

      /usr/sbin/fsck -AsCy

      exit

  5. 如果以上方法均无效,可尝试进入emergency mode后直接使用命令systemctl default进入系统。

    进入系统后,使用命令dmesg|grep -i error检查启动日志,查看相关错误日志是否存在,如果依旧存在,极有可能是存储异常,请联系技术支持工程师协助解决

如何在运维面重新关联已恢复的节点

节点故障恢复后,服务监控关于这个节点的数据不再上报,需要重新关联。

操作步骤
  1. 在菜单中选择系统管理 > 平台配置 > 服务监控,进入服务监控页面。
  2. 单击监控看板 > 服务监控,进入创建服务监控页面。

    查看已创建的ManageOne云服务监控卡片,如图26-2所示。

    图26-2 服务监控
    说明:

    单击,可根据服务所属区域和服务分类过滤已创建的服务监控。

  3. 单击已有监控选项卡右上角的,编辑云服务监控的基本信息。
  4. 查看ManageOne监控服务的节点信息,在页面左侧的“可选节点”中对其ManageOne所属节点进行选择。

    已经选择的节点会出现在页面右侧“已选节点”下。

  5. 选择节点的监控模板进行关联已恢复的节点。

如何处理虚拟机下电MessagingBrokeService服务重启后Kafka异常

现象描述

节点下电MessagingBrokeService服务重启后,kafka异常。

处理步骤
  1. 使用浏览器登录ManageOne部署面。

    登录地址:https://部署面浮动IP地址:31943例如:https://192.168.0.1:31943。

    默认帐号:admin,默认密码:Huawei12#$。

  2. 单击“部署 > 服务列表”。
  3. 在界面右侧搜索框中输入服务名称MessagingBrokeService,单击进行搜索。
  4. 单击搜索到的服务,进入服务详情页面,在服务器列表中查看部署的所有节点。
  5. 执行如下步骤,依次遍历所有节点。

    1. 使用sopuser用户登录MessagingBrokeService服务所在节点。

      默认密码:D4I$awOD7k。

    2. 执行如下命令,切换至root用户。

      su - root

      默认密码:Changeme_123。

    3. 执行如下命令,检查MessagingBrokeService服务的运行状态。

      su ossadm -c ". /opt/oss/manager/bin/engr_profile.sh; ipmc_adm -cmd statusapp -app MessagingBrokeService"

    显示如下信息:

     msgbrksrv-2-0 msgbrksrv MessagingBrokeService Product cluster 192.166.191.125 11006 RUNNING
    说明:

    RUNNING表示运行状态正常,STOPPED表示运行状态异常。

  6. 执行如下命令,停止MessagingBrokeService服务,依次遍历所有服务状态正常的节点。

    su ossadm -c ". /opt/oss/manager/bin/engr_profile.sh; ipmc_adm -cmd stopapp -app MessagingBrokeService"

  7. 执行如下命令,修改MessagingBrokeService服务配置文件,依次遍历所有节点。

    sed -i 's/unclean.leader.election.enable=false/unclean.leader.election.enable=true/g' /opt/oss/Product/apps/MessagingBrokeService/kafka/bin/GenerateConfig/Kafka/server.properties

  8. 执行如下命令,按照先异常后正常的顺序,启动MessagingBrokeService服务,依次遍历所有节点。

    su ossadm -c ". /opt/oss/manager/bin/engr_profile.sh; ipmc_adm -cmd startapp -app MessagingBrokeService"

    说明:

    按照步骤 5中查询到的状态顺序启动,启动过程中必须一个节点启动完成后再启动另一个节点。

  9. 执行如下命令,检查MessagingBrokeService服务状态是否正常。

    su ossadm -c ". /opt/oss/manager/bin/engr_profile.sh; ipmc_adm -cmd statusapp -app MessagingBrokeService"

    • 是,等所有服务正常启动后,执行如下命令,修改MessagingBrokeService服务配置文件。

    sed -i 's/unclean.leader.election.enable=true/unclean.leader.election.enable=false/g' /opt/oss/Product/apps/MessagingBrokeService/kafka/bin/GenerateConfig/Kafka/server.properties

    • 否,请联系技术支持工程师协助解决。

  10. 执行如下命令,停止MessagingBrokeService服务,依次遍历所有节点。

    su ossadm -c ". /opt/oss/manager/bin/engr_profile.sh; ipmc_adm -cmd stopapp -app MessagingBrokeService"

  11. 执行如下命令,启动MessagingBrokeService服务,依次遍历所有节点。

    su ossadm -c ". /opt/oss/manager/bin/engr_profile.sh; ipmc_adm -cmd startapp -app MessagingBrokeService"

  12. 执行如下命令,退出root用户。

    exit

如何处理手动升级MOLogStorageService服务后服务参数异常

现象描述

手动升级MOLogStorageService服务后,服务参数esHeapSize恢复默认,未按照环境规格做相应调整。

操作步骤
  1. 使用浏览器登录ManageOne部署面。

    登录地址:https://部署面浮动IP地址:31943例如:https://192.168.0.1:31943。

    默认帐号:admin,默认密码:Huawei12#$。

  2. 在主菜单中单击“部署 > 特性部署 > 服务列表”。
  3. 在界面右侧搜索框中输入服务名称MOLogStorageService,单击进行搜索。
  4. 单击搜索到的服务,进入服务详情页面,在服务器列表中查看部署的所有节点。
  5. 执行如下步骤,修改日志中心节点内存。

    1. 使用PuTTY,登录MOLogStorageService服务所在节点。

      默认帐号:sopuser,默认密码:D4I$awOD7k。

    2. 执行如下命令,切换至root用户。

      su - root

      默认密码:Changeme_123。

    3. 执行如下命令,切换到“/opt/oss/Product/etc”目录。

      cd /opt/oss/Product/etc

    4. 执行如下命令,新建或打开“moLogMem.conf”文件。

      vi moLogMem.conf

    5. 按“i”,在文件中查看是否存在如下内容。
      MOSCALE="MO32G"

      其中“32”为变量,请根据实际替换。每个档位日志中心节点的对应内存请参见表26-34

      • 是,仅将“32”修改为实际的内存。
      • 否,请插入全部内容,并将“32”修改为实际的内存。
    6. 按“Esc”键,执行如下命令,保存并退出此文件的修改。

      :wq!

    7. 检查“moLogMem.conf”文件的权限和分组是否显示如下。如果不是请执行5.h~5.i修改分组和权限。
      - rwxr - x - - - ... ossadm ossgroup ... moLogMem.conf
    8. 执行如下命令,修改分组。

      chown ossadm:ossgroup moLogMem.conf

    9. 执行如下命令,修改权限。

      chmod 750 moLogMem.conf

    10. 如果存在多个日志中心节点修改内存,请重复执行5.a5.g,确保所有的日志中心节点都修改完成。
    11. 执行如下命令,退出root用户。

      exit

  6. 检查并修改配置项。

    1. 使用浏览器登录ManageOne部署面。

      登录地址:https://部署面浮动IP地址:31945例如:https://192.168.0.1:31945。

      默认帐号:admin,默认密码:Huawei12#$。

    2. 在主菜单中选择“部署 > 微服务部署 > 环境列表”。
    3. 在搜索框中输入“MOLogStorageService”,按“Enter”。
    4. 单击搜索到的环境名称,查看是否存在如下图所示的配置项。

      • 是,根据表26-34查看对应的值是否正确,如果正确,则操作结束;如果不正确请在页面右上方“部署动作”中单击“部署”,在“配置项列表”中修改“esHeapSize”的值。
      • 否,在页面右上方“部署动作”中单击“部署”,在“配置项列表”右侧单击,在“配置名称”中输入“esHeapSize”,并根据表26-34输入对应的值,单击“确定”。
      表26-34 内存与“esHeapSize”值对应关系

      内存(GB)

      值(MB)

      8

      4096

      16

      7168

      32

      15360

如何处理LogCenter日志服务异常

现象描述

运行日志和管理操作日志功能报日志服务异常,无法使用日志搜索等功能。

操作步骤
  1. 使用浏览器登录ManageOne部署面。

    登录地址:https://部署面浮动IP地址:31943例如:https://192.168.0.1:31943。

    默认帐号:admin,默认密码:Huawei12#$。

  2. 在主菜单中选择“部署 > 微服务列表”,在界面右侧搜索框中输入服务名称MOLogAccessService,单击
  3. 单击搜索到的MOLogAccessService服务,单击服务界面右侧的“去激活”,停止MOLogAccessService服务。
  4. 单击左树的“微服务列表”,在界面右侧搜索框中输入服务名称MOLogStorageService,单击
  5. 单击搜索到的MOLogStorageService服务,先单击“去激活”,任务执行完成后再单击“激活”,重启MOLogStorageService服务。
  6. 重启MOLogStorageService服务后,等待10~20分钟。
  7. 使用浏览器,登录ManageOne运维面。

    登录地址:https://ManageOne运维面主页的访问地址:31943。例如,https://oc.type.com:31943。

    默认帐号:admin,默认密码:Huawei12#$。

  8. 在主菜单中选择“系统管理 > 管理操作日志”,在界面中查看日志服务异常是否存在。

    是,请联系技术支持工程师协助解决。

    否,执行步骤 9

  9. 在主菜单中选择“系统管理 > 统一日志 > 运行日志 > 集群状态”,查看界面“索引”中的“健康状态”,若全部为绿色或者黄色,执行步骤 10~步骤 11;若有红色,则继续等待,建议半天或者一天后再查看索引的健康状态;若一天后仍为红色,请联系技术支持工程师协助解决。
  10. 执行步骤 1~步骤 2
  11. 单击搜索到的MOLogAccessService服务,单击服务界面右侧的激活,重启MOLogAccessService服务。

如何处理因LogCenter接收的日志数量过多导致服务不可用

背景信息

因LogCenter接收到的FusionSphere OpenStack或ManageOne运行日志过多,导致服务不可用,如果不需要时,可以通过开关进行过滤。

操作步骤
  1. 进入到安装工具包解压后ManageOne_init_tools文件夹根目录下的es_indices_mgnt文件夹中。
  2. 使用Notepad++打开log_indices_mgnt.conf配置文件,根据是否需要接收日志修改runlog_confs字段中的action值,修改完成后保存并退出。

    需要修改的值示例中标粗显示如下,可根据需要分别设置ManageOne或FusionSphere OpenStack的运行日志收集开关。

    • “action”值为“org”表示收集运行日志。
    • “action”值为“clean”表示不收集运行日志。
          "runlog_confs": {
              "mo": {
      	"action": "clean",
      	"org": "templates/org/mo.json",
      	"clean": "templates/without_runlog/mo.json",
      	"dest": "/opt/oss/Product/apps/MOLogCenterService/etc/cslogconfig/"
              },
              "openstack": {
      	"action": "clean",
      	"org": "templates/org/openstack.json",
      	"clean": "templates/without_runlog/openstack.json",
      	"dest": "/opt/oss/Product/apps/MOLogCenterService/etc/cslogconfig/"
              }
          },

  3. 执行es_indices_mgnt文件夹中的run.bat脚本,按提示依次输入如下信息,关闭或打开收集运行日志的功能。

    1. 回显“Please input float_ip for <deploy portal>:”时,输入部署面浮动IP地址,请根据实际情况进行替换。
    2. 回显“Please input node password for <sopuser>:”时,输入sopuser用户密码,默认密码为“D4I$awOD7k”。
    3. 回显“Please input node password for <root>:”时,输入root用户密码,默认密码为“Changeme_123”。
    4. 回显“Please input db password for <dbuser>:”时,输入dbuser用户密码,默认密码为“Admin@123”。
    5. 回显“Please choose operation:”时,输入“0”。
    6. 回显“confirm?(y/n)”时,输入“y”。

  4. 出现如下类似回显信息时,所有LOG节点都重启了MOLogCenterService服务后,表示执行成功。

    Start action get deploy float ip
    ...
    ****exec**** 192.168.126.1 /bin/chown sopuser:wheel /home/sopuser/nodelists.json
    
    get </home/sopuser/nodelists.json> to <nodelists.json>
    ...
    Start action mgnt service
    ********Login 192.168.126.14 Successfully********
    ****exec**** 192.168.126.14 su - root
    ****exec**** 192.168.126.14 su - ossadm -c"/opt/oss/manager/agent/bin/ipmc_adm -
    cmd restartapp -app MOLogCenterService"
    ...
    Start action mgnt service
    ********Login 192.168.126.15 Successfully********
    ****exec**** 192.168.126.15 su - root
    ****exec**** 192.168.126.15 su - ossadm -c"/opt/oss/manager/agent/bin/ipmc_adm -
    cmd restartapp -app MOLogCenterService"

  5. 等待1小时,登录ManageOne运维面,在“系统管理 > 统一日志 > 运行日志 > 日志搜索”中的“运行日志列表”中查看ManageOne或FusionSphere OpenStack日志收集开关是否生效。

    • 如果开关关闭生效,则不能搜索到ManageOne或FusionSphere OpenStack产品1小时内的日志。
    • 如果开关打开生效,则能搜索到ManageOne或FusionSphere OpenStack产品1小时内的日志。

翻译
下载文档
更新时间:2019-08-19

文档编号:EDOC1100043088

浏览量:18451

下载量:439

平均得分:
本文档适用于这些产品
相关版本
相关文档
Share
上一页 下一页