异地容灾

常用概念

站点差异

手动倒换

方案介绍：

主备站点之间通过心跳链路实时检测对端站点状态是否正常；主用站点产品通过数据复制链路向备用站点产品实时同步数据，确保主备站点数据一致。

当主站点发生故障时，在备站点手动对产品执行接管操作。备站点升级为主用站点对外提供服务，同时主站点降为备用站点。

手工倒换判断规则：

• 主站点发生地震、火灾、停电等灾难性故障，导致系统整体无法对外提供服务。
• 主站点故障，导致部分关键节点损坏无法提供对应服务。例如数据库节点（DB）损坏、平台服务节点（Common_Service）损坏、管理域服务节点（NMS）损坏、控制域服务节点（Controller或TController）损坏。

方案示意图：

图3-23 异地容灾手动倒换系统示意图

容灾网络可复用iMaster NCE-Campus原有网络，以减少主备站点的网络配置。

自动倒换（带仲裁服务）

方案介绍：

为了防止站点间网络异常时出现双主脑裂，仲裁服务提供站点私网状态监控功能，对主、备、三方站点进行周期性的网络连通性检测，并将对应的检查结果通过数据共享链路共享给主、备、三方站点。当网络出现异常或者站点故障导致仲裁心跳异常时，仲裁服务通过内部算法给出当前网络的最优站点，来实现主备站点的自动倒换。

自动倒换触发条件：

• 主站点发生地震、火灾、停电等灾难性故障，且在设置时间内没有恢复。
• 主备心跳链路中断，且主用站点与三方站点间的数据共享链路中断。
• iMaster NCE-Campus管理域场景和管控析小型化场景：
  • 当系统默认设置的关键微服务故障时，异地容灾系统将触发自动倒换，保障业务的正常运行。
  • 服务器网口故障等导致业务网络（南向或北向网络）故障，系统自动触发倒换。
  • 所有数据库实例均故障，系统自动触发倒换。
  • 管控析场景，节点及应用服务采用主备或集群部署，配置本地保护。对关键微服务、 服务器业务网口及数据库实例故障的情况，不触发异地容灾自动倒换。
  • 在触发自动倒换的优先级上，所有数据库实例故障 > 服务器业务网口故障 > 关键微服务故障。假设备站点上存在所有数据库实例均故障的情况，即便主站点关键微服务故障，亦不会触发自动倒换。

仲裁服务部署：

• 主站点、备站点和三方站点的CPU架构要求一致。如主备站点为ARM架构服务器，则三方站点亦要求为ARM架构服务器。
• iMaster NCE-Campus管控析场景，采用5节点仲裁服务部署方案。仲裁服务通过2+2+1方式部署在三个站点。
  • 主站点、备站点分别部署两个仲裁节点，部署在Common_Service节点，站点间的仲裁节点互为保护；三方站点部署1个仲裁节点。
  • 5个仲裁节点均部署ETCD形成一个ETCD集群。主站点和备站点的4个节点部署Monitor，Monitor负责站点间网络连通性检测，并将结果保存在ETCD集群中。
  图3-24 异地容灾自动倒换5节点系统示意图
  
• iMaster NCE-Campus管理域场景和管控析小型化场景采用3节点仲裁服务部署方案。仲裁服务通过1+1+1方式部署在三个站点。
  • 主站点、备站点分别部署1个仲裁节点，管控析小型化场景部署在Common_Service节点，管理域场景部署在NMS_Server节点；三方站点部署1个仲裁节点。
  • 3个仲裁节点均部署ETCD形成一个ETCD集群。主站点和备站点的2个节点部署Monitor，Monitor负责站点间网络连通性检测，并将结果保存在ETCD集群中。
  图3-25 异地容灾自动倒换3节点系统示意图
  

容灾网络建议复用iMaster NCE-Campus原有网络，以减少主备站点的网络配置。

前提条件

异地容灾系统配置前，请确保主备站点满足如下要求。

• 部署方案要求：
  • 主备站点均须选择“异地容灾”作为站点类型，以确保安装的容灾服务一致。
  • 主站点和备站点部署方案（产品类型、部件方案、网络规模等）一致。当主站点和备站点部署方案一致时，两站点上使用的软件包、节点个数、管理面和产品的语言、版本、服务、服务版本、异地容灾系统证书、根密钥、工作密钥、产品的数据库用户密码默认一致。
  • 为主备站点配置同一NTP服务器，确保主备站点时间一致。
  • 安装管理面时动态生成CA证书，所以需手工替换CA证书，使主备站点的CA证书一致。操作详见更新CA证书。
• 组网要求：
  • 主站点和备站点间的心跳IP和数据复制IP能正常通信。
  • 主站点和备站点上除NTP服务器以外的所有节点的IP地址不能相同，但IP协议版本需相同。如果规划成IPv6类型的IP地址，则主备站点都需要规划成IPv6类型的IP地址。
  • 主站点和备站点间的带宽需满足要求。带宽要求详见EasySuite主站点或备站点的“高阶方案 > 带宽规划”。
• iMaster NCE-Campus系统要求：
  • 主站点和备站点上的所有服务、数据库实例都运行正常，具体操作请参见系统监控。

• 已登录主站点或者备站点的管理面，具体操作请参见登录管理面。

操作须知

如果正在执行备份或恢复任务，请待任务执行完成后再执行本节操作，避免备份恢复任务或者该容灾操作失败。

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在“管理异地容灾系统”页面中，单击“配置容灾系统”。
3. 在界面中根据表3-119配置站点信息。
   表3-119 参数介绍

   参数名称	参数说明
   站点名称	站点的标识。
   心跳IP地址	管理节点用于心跳通信的IP地址。

4. 单击“增加产品”，选择主备站点产品和数据复制方向，然后单击“前置检查”。
   • 前置检查包括以下检查项：
     • 主站点和备站点间能够通过心跳链路正常通信。

       若主备站点能正常通信，则表示两站点的心跳链路正常，且异地容灾系统证书相同。

     • 主站点和备站点的节点个数相同。
     • 主站点和备站点的服务和服务版本分别一致。
     • 主站点和备站点的CA证书相同。
     • 主站点和备站点的根密钥或者工作密钥分别相同。
     • 主站点产品和备站点产品同一数据库实例用户的密码相同。
     • 主站点和备站点各数据库实例状态正常，并且本地复制关系正常。
     • 主站点和备站点管理面的语言一致。
     • 主站点和备站点的时间差在1分钟之内。
     • 主备站点安装时间间隔是否大于7天。

       初次创建容灾时，若检查发现主备站点安装时间间隔大于7天，后安装的站点不允许作为主用站点，界面提示“新安装的集群不能作为主集群”。以防止局点改造场景下，新安装集群作为主集群，导致原有集群数据丢失。

5. 前置检查是否通过：
   • 如果检查通过，则表示满足创建异地容灾系统的配置要求，单击“保存草稿”。
   • 如果检查不通过，根据界面提示修改问题。

前提条件

已登录主站点和备站点的管理面，具体操作请参见登录管理面。

操作须知

• 删除主站点和备站点后，异地容灾系统的所有产品的容灾关系也将删除，备站点将不再对主站点进行容灾保护，数据也将无法进行同步，但两站点上的数据不会被删除。
• 删除主站点和备站点后，会删除主备站点健康检查的历史记录。
• 如果正在执行备份或恢复任务，请待任务执行完成后再执行本节操作，避免备份恢复任务或者该容灾操作失败。
• 配置或删除异地容灾系统、执行异地容灾倒换或强制同步主备产品数据过程中，由于备站点数据库被重启，备站点管理面将上报“GaussDB T V3进程未启动”告警。容灾操作完成后，告警将自动清除。

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在界面右上角单击“删除”。
3. 按照界面上的指引完成相关操作。

   若主站点和备站点间的心跳状态为，在任意一个站点执行将同时删除对端站点的容灾关系；若主站点和备站点间的心跳状态为，则对端的容灾关系无法删除，需分别在主备站点上执行。

4. 检查操作结果。如果操作结果与预期不符，请联系华为技术支持工程师。
   1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
   2. 在“管理异地容灾系统”页面，被删除的异地容灾系统已不存在。
   3. 主用站点业务面能正常登录，具体操作请参见登录业务面。
   4. 在“任务列表”页面中显示删除异地容灾系统部分成功和删除产品部分成功，可能是产品节点下电或者异常时删除异地容灾系统导致，节点恢复正常后需清除产品节点上的容灾信息，否则在非异地容灾场景时该节点上的业务异常，具体操作请参见《故障处理》中的“删除异地容灾系统后清除产品节点的容灾信息”章节。

5. 删除成功后历史备份数据会失效，请备份产品数据和管理面，具体操作请参见备份产品和备份管理面。

   删除异地容灾系统后，若需重新配置异地容灾系统，请在异地容灾系统创建完成后再备份产品数据和管理面。

后续操作

删除异地容灾系统后，主备站点产品服务状态仍会处于删除前的状态。

• 管控析场景，为了防止主备站点产品处于“双主”状态造成业务抢占、业务重复下发等问题，一般情况请勿启动备站点的服务。如需启动备站点的服务，备站点启动期间请勿在主备站点下发业务。
• 管理域场景，若主备站点配置了站点间北向对接浮动IP，如需手工启动备站点产品的服务，可能造成北向对接浮动IP冲突。请手工关闭备站点北向对接浮动IP网卡。
  1. 使用PuTTY工具以sopuser用户通过SSH方式登录备站点管理节点。
  2. 执行以下命令，切换至root用户。

     > su - root

     Password:root用户的密码

  3. 执行命令查询管理节点网卡使用状态。

     # ifconfig

  4. 若查询结果列表中包含北向对接浮动IP网卡（如bond0:0），则表明北向对接浮动IP网卡未关闭。执行如下命令进行关闭。

     # ifconfig bond0:0 down

  5. 再次执行命令查询管理节点网卡使用状态，查询结果列表中不再包含北向对接浮动IP网卡。

     # ifconfig

前提条件

• 主站点和备站点满足规划要求，具体请参见容灾配置前置检查。
• 已登录主站点或者备站点的管理面，具体操作请参见登录管理面。
• 主站点和备站点上的所有服务、数据库实例都运行正常，具体操作请参见系统监控。
• 确保主站点和备站点间的心跳状态为。

操作须知

• 只需在任意一个站点上执行本节操作。
• 因数据库状态需要等待刷新，建议删除异地容灾系统后等待5分钟，再创建异地容灾系统，否则可能操作失败。
• 如果正在执行备份或恢复任务，请待任务执行完成后再执行本节操作，避免备份恢复任务或者该容灾操作失败。
• 自动倒换（带仲裁服务）场景下，在删除主备站点产品的容灾关系后，主备站点产品服务和数据库状态仍会处于删除前的主用或备用状态。为了防止新添加产品与删除前产品的状态冲突导致“双主”现象，在重新建立主备站点产品的容灾关系前，需要暂时关闭“自动倒换”功能，在添加产品后重新开启“自动倒换”功能。

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 自动倒换（带仲裁服务）场景下，需关闭“自动倒换”功能。
   1. 在“管理异地容灾系统”页面中，单击“配置容灾系统”。
   2. 在界面中选择“容灾扩展配置”页签，记录配置信息后，设置“自动倒换”按钮为。

3. 在“管理异地容灾系统”页面中，单击“增加产品”。
4. 按照界面指引完成相关操作。
5. 检查操作结果。
   1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
   2. 在“管理异地容灾系统”页面，查看主备站点间的心跳状态为。
   3. 在“管理异地容灾系统”页面，查看所有产品的“数据同步状态”为“已同步”或者“同步中”。如果“数据同步状态”显示为“延迟”，表示主站点和备站点有较多的数据正在同步，请等待数据同步完成后再检查状态。
   4. 主用站点业务面能正常登录，具体操作请参见登录业务面。
   5. 如果操作结果与预期不符，请联系华为技术支持工程师。

6. 自动倒换（带仲裁服务）场景下，在界面中选择“容灾扩展配置”页签，设置“自动倒换”按钮为，开启“自动倒换”能力。并参考2.b恢复容灾拓展配置。

前提条件

已登录主站点或者备站点的管理面，具体操作请参见登录管理面。

操作须知

• 分离主备站点产品后，主备站点产品将成为两个独立的产品，备站点产品将不再对主站点进行容灾保护，数据也将无法进行同步，但两站点产品的数据不会被删除。
• 如果正在执行备份或恢复任务，请待任务执行完成后再执行本节操作，避免备份恢复任务或者该容灾操作失败。

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在待删除的产品所在行“操作”列中，单击。
3. 按照界面上的指引完成相关操作。

   若主站点和备站点间的心跳状态为，在任意一个站点执行将同时删除对端站点的产品；若主站点和备站点间的心跳状态为，则对端的产品无法删除，需分别在主备站点上执行。

4. 检查操作结果。如果操作结果与预期不符，请联系华为技术支持工程师。
   1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
   2. 在“管理异地容灾系统”页面，查看主备站点间的心跳状态为。
   3. 在“管理异地容灾系统”页面，被删除的产品行已不存在。
   4. 主用站点业务面能正常登录，具体操作请参见登录业务面。

后续操作

为了防止主备站点产品处于“双主”状态，在分离主备站点产品后，主备站点产品服务和数据库状态仍会处于删除前的状态，若需启动备站点上的服务，请登录备站点执行操作，具体操作请参见启动业务面。

前提条件

• 已登录主站点或者备站点的管理面，具体操作请参见登录管理面。
• 确保主站点和备站点间的心跳状态为。

操作须知

• 只需在任意一个站点上执行本节操作。
• 主站点和备站点产品间的数据同步关系删除后，两站点上的数据仍存在，但数据将无法进行同步（除华为文件系统之外）。如果需删除主备站点的华为文件系统数据的同步关系，需直接分离主备站点产品或删除异地容灾系统，具体请参考分离主备站点产品和删除异地容灾系统。
• 如果正在执行备份或恢复任务，请待任务执行完成后再执行本节操作，避免备份恢复任务或者该容灾操作失败。

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在“管理异地容灾系统”页面，查看所有产品的“数据同步状态”为“已同步”或者“同步中”。如果“数据同步状态”显示为“延迟”，表示主站点和备站点有较多的数据正在同步，请等待数据同步完成后再检查状态。
3. 在待删除数据同步关系的产品所在行“操作”列中，单击。
4. 按照界面上的指引完成相关操作。
5. 检查操作结果。如果操作结果与预期不符，请联系华为技术支持工程师。
   1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
   2. 在“管理异地容灾系统”页面，查看主备站点间的心跳状态为。
   3. 在“管理异地容灾系统”页面，查看该产品的“数据同步状态”为“异常”。
   4. 主用站点业务面能正常登录，具体操作请参见登录业务面。

后续处理

当主站点产品故障修复后，需要根据实际情况恢复主备站点产品间的数据同步关系。

• 如果主站点产品上所产生的数据对业务无影响，请以主站点产品为主将数据全量同步至备站点产品，具体操作请参见同步主备产品数据。
• 如果主站点产品上所产生的数据对业务有影响，请以备站点产品为主将数据全量同步至主站点产品，具体操作请参见同步主备产品数据。然后将两站点产品恢复至故障之前的状态，具体操作请参见异地容灾系统演练。

前提条件

• 已登录主站点或者备站点的管理面，具体操作请参见登录管理面。
• 确保主站点和备站点间的心跳状态为，所有产品的数据同步状态为“已同步”或者“同步中”。

操作须知

• 只需在任意一个站点上执行本节操作。
• 倒换过程中，如果数据同步状态显示为“同步中”，表示主站点和备站点该产品的数据正在同步，系统将等待数据同步完成后再进行倒换。如果系统等待超时则会倒换失败，站点仍处于执行倒换操作前的状态。
• 如果正在执行备份或恢复任务，请待任务执行完成后再执行本节操作，避免备份恢复任务或者该容灾操作失败。
• 配置或删除异地容灾系统、执行异地容灾倒换或强制同步主备产品数据过程中，由于备站点数据库被重启，备站点管理面将上报“GaussDB T V3进程未启动”告警。容灾操作完成后，告警将自动清除。

背景信息

倒换后，站点产品状态会发生改变。如图3-27所示，主站点产品向备站点产品倒换成功后，原主站点产品成为备用状态，原备站点产品成为主用状态，站点间产品的数据同步方向也随之发生改变。

图3-27 倒换前后状态示意图

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在“管理异地容灾系统”页面，根据实际场景选择对应的操作步骤。
   • 对单个产品进行演练

     在产品所在行的“操作”列，单击，按照界面指引完成相关操作。

   • 对所有产品进行演练

     选择所有产品后，单击产品列表上方的“倒换”，按照界面指引完成相关操作。

   数据同步过程中，备用站点的“系统监控”页面可能显示数据库状态为“异常”。数据同步完成后，数据库状态将恢复为“正常”。

3. 检查操作结果。如果操作结果与预期不符，请联系华为技术支持工程师。
   1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
   2. 在“管理异地容灾系统”页面，查看主备站点间的心跳状态为。
   3. 在“管理异地容灾系统”界面中查看倒换产品的“主站点产品”和“备站点产品”列的信息，产品容灾状态与倒换结果相符。
   4. 在“管理异地容灾系统”页面，查看倒换产品的“数据同步状态”为“已同步”或者“同步中”。如果“数据同步状态”显示为“延迟”，表示主站点和备站点有较多的数据正在同步，请等待数据同步完成后再检查状态。
   5. 主用站点业务面能正常登录并且界面中各菜单显示完整，具体操作请参见登录业务面。

4. 再次进行倒换，恢复原主站点和备站点状态。
5. （可选）请根据实际情况手工启动进程或者修改进程启动类型。
   • 如果产品存在启动类型为手动的进程，执行以下操作。
     1. 在管理面主菜单中选择“产品 > 系统监控”。
     2. 在“系统监控”页面左上方，光标移至并选择对应的产品。
     3. 选择“进程”页签，勾选待启动的进程，在进程列表右上方单击“启动”，按照界面指引完成相关操作。
   • 如果产品存在需修改启动类型的进程，具体操作请参见配置进程启动类型。

前提条件

• 已登录管理面，具体操作请参见登录管理面。
• 确保主备站点间的心跳链路和数据复制链路均能正常通信。

背景信息

• 在创建异地容灾系统后，备站点管理面会创建默认的健康检查定时任务，该定时任务于每日07:00:00对异地容灾系统进行健康检查。若需修改定时任务运行时间，具体操作请参见修改异地容灾系统参数。
• 当存在异常的健康检查项时，异地容灾系统每隔1小时会对所有检查项进行检查，直至检查项全部正常或者到下次定时健康检查的时间。

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在“管理异地容灾系统”页面右上角单击“健康评估”，按照界面上的指引完成相关操作。
3. 查看评估结果为“异常”的检查项，根据修复建议处理。

前提条件

已登录管理面，具体操作请参见登录管理面。

操作须知

若需修改主备站点的名称、心跳IP地址或者站点上已部署的产品，则只能将该异地容灾系统删除后重新创建，具体操作请参见删除异地容灾系统和配置异地容灾系统。

操作步骤

1. 在主站点管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在“管理异地容灾系统”页面右上角单击“修改”，按照界面上的指引完成相关操作。

前提条件

已登录备站点管理面，具体操作请参见登录业务面。

背景信息

接管后，站点产品状态会发生改变。如图3-28所示，主站点产品发生故障，备站点产品接管主站点产品成功后，备站点产品备用状态成为主用状态。

图3-28 主站点产品故障接管前后示意图

操作须知

• 接管操作只能在产品的容灾状态处于“备用”的产品上执行。接管成功后，备用站点产品接管主用站点产品的业务，对外提供服务。
• 接管过程中，如果数据同步状态不是“已同步”，接管可能会导致产品数据丢失。

操作步骤

1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
2. 在“管理异地容灾系统”页面，根据实际场景选择对应的操作步骤。
   • 若单产品故障

     在产品所在行的“操作”列，单击，按照界面指引完成相关操作。

   • 若多产品故障

     请选择待接管产品，单击产品列表上方的“接管”，按照界面指引完成相关操作。

3. 检查操作结果。如果操作结果与预期不符，请联系华为技术支持工程师。

   如果主站点和备站点间的心跳状态异常或者在接管过程中主站点产品降备失败，异地容灾系统会进入“双主”状态，可能会导致数据丢失。用户需要在主备站点心跳状态恢复后，强制同步主备站点产品间的数据，使得主备站点产品上的数据保持一致，具体操作请参见同步主备产品数据。

   1. 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
   2. 在“管理异地容灾系统”界面中，2中执行接管操作的产品容灾状态为“主用”或者“接管后主用”。
   3. 接管后的主用站点业务面能正常登录，具体操作请参见登录业务面。

4. （可选）请根据实际情况手工启动进程或者修改进程启动类型。
   • 如果产品存在启动类型为手动的进程，执行以下操作。
     1. 在管理面主菜单中选择“产品 > 系统监控”。
     2. 在“系统监控”页面左上方，光标移至并选择对应的产品。
     3. 选择“进程”页签，勾选待启动的进程，在进程列表右上方单击“启动”，按照界面指引完成相关操作。
   • 如果产品存在需修改启动类型的进程，具体操作请参见配置进程启动类型。

后续处理

接管完成后，需要根据异地容灾系统状态进行修复，具体操作请参见表3-121。

故障现象

在管理面的“管理异地容灾系统”页面中，存在心跳状态为（异常）或（未知）的情况。

图3-29 异地容灾心跳状态可视化界面

异地容灾心跳列表如图3-30所示，单击展开故障的心跳列表后，可查看具体故障节点。

图3-30 异地容灾心跳列表

现象1：主备间仲裁心跳异常

现象2：主站点和三方站点心跳异常

现象3：备站点和三方站点心跳异常

现象4：主站点/备站点和三方站点心跳未知

现象描述

在管理面的“管理异地容灾系统”页面中，主站点和备站点之间的心跳状态显示为（异常）。

可能原因

• 主站点和备站点之间心跳网络异常。
• 主站点或备站点的容灾服务异常。
• 主站点和备站点管理节点上的异地容灾系统证书不匹配或者已过期。

前提条件

• 已获取备站点管理节点的心跳IP地址。
• 已获取主备站点管理节点sopuser和ossadm用户的密码。

处理步骤

该故障排查方法比较复杂，此处只介绍初步的排查方法，如果仍不能解决，请联系华为技术支持工程师处理。

1. 检查主站点和备站点之间的心跳网络是否连通。
   1. 使用PuTTY工具以sopuser用户通过SSH方式登录主站点的管理节点。执行下述命令，切换至ossadm用户。

      > su - ossadm

      Password:ossadm用户的密码

      如果管理面的部署模式是集群模式，只需在OMP_01节点执行以下操作。获取节点IP地址的方法请参见如何查找节点对应的IP地址。

   2. 执行以下命令，测试主站点和备站点管理节点的连通性。
      • 如果IP地址为IPv4：

        > ping 备站点管理节点的心跳IP地址

      • 如果IP地址为IPv6：

        > ping6 备站点管理节点的心跳IP地址

      查看系统回显信息：

      • 如果回显如下类似信息，表示可以ping通，说明网络连接正常。

        64 bytes from 备站点管理节点的心跳IP地址: icmp_seq=1 ttl=251 time=42.1 ms

      • 如果等待1分钟无回显信息，说明网络连接异常，请联系管理员检查并恢复网络。
   3. 按“Ctrl+C”终止ping命令。

2. 分别检查主站点和备站点管理节点的容灾进程是否正常。
   1. 登录主站点管理面，具体操作请参见登录管理面。
   2. 在管理面主菜单中选择“产品 > 系统监控”。
   3. 在“系统监控”页面左上方，光标移至并选择iMaster NCE-Campus-OMP。
   4. 选择“服务”页签，单击“UniEPMgr”。
   5. 在“服务进程”区域，查看是否有“drmgrservice-x-x”进程，且该进程的“状态”是否为“正在运行”。

      x为实例编号，具体以实际为准。

      • 是，表示该进程存在，且运行正常。
      • 否，请联系华为技术支持工程师处理。
   6. 登录主站点管理面，参考以上操作，检查备站点容灾进程是否正常，如果异常请联系华为技术支持工程师修复容灾进程。

3. 检查主站点和备站点管理节点的异地容灾系统证书是否过期。
   查看是否存在主备站点的“51025 容灾证书已过期”告警。

   • 是，请更新容灾证书，具体操作请参见《系统维护与监控（管理面）》中的“更新异地容灾系统证书”章节。
   • 否，则表示不是证书过期导致该故障。

4. 联系华为技术支持工程师检查主站点和备站点管理节点异地容灾系统证书是否匹配。