异地容灾应急处理
管理面无法访问
现象描述
使用浏览器访问管理面时，Web登录界面显示异常或者无法登录。
对于异地容灾场景，本节以在主站点上操作为例，若备站点管理面无法访问，请参考主站点上的操作在备站点上执行。
可能原因
- 管理节点被下电或者网络异常。
- 管理面数据库状态异常。
- 管理面服务异常。
处理步骤
该故障排查方法比较复杂，此处只介绍初步的排查方法，如果仍不能解决，请联系华为技术支持工程师处理。
- 排查管理节点是否被下电。
请联系管理员检查节点下电情况并上电。
对于异地容灾场景，请联系管理员检查主备站点管理节点的下电情况，若两站点的管理节点都被下电，则联系管理员上电，然后执行以下操作，否则请执行2。
- 登录管理面，具体操作请参见登录管理面。
- 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
- 在待同步数据的产品所在行“操作”列中，单击
，选择产品的数据同步方向。
选择数据同步方向时，异地容灾系统会根据用户选择方向进行全量数据同步，并覆盖被同步的站点产品数据。建议以含有最新数据的产品为主用站点产品，向对端站点产品同步。若选择由备用站点向主用站点产品同步，则首先备用站点会升级为主用，然后再进行产品数据同步。
- 按照界面上的指引完成相关操作。
- 检查操作结果。如果操作结果与预期不符，请联系华为技术支持工程师。
- 在管理面主菜单中选择“高可用 > 异地高可用系统 > 管理异地容灾系统”。
- 在“管理异地容灾系统”页面，查看主备站点间的心跳状态为
。
- 在“管理异地容灾系统”页面，查看所有产品的“数据同步状态”为“已同步”或者“同步中”。如果“数据同步状态”显示为“延迟”，表示主站点和备站点有较多的数据正在同步，请等待数据同步完成后再检查状态。
- 主用站点业务面能正常登录，具体操作请参见登录业务面。
- 排查管理面网络是否故障。
请联系管理员检查网络状态并修改故障。
- 排查管理面数据库实例是否异常。
- 使用PuTTY工具以sopuser用户通过SSH方式登录管理节点。
- 执行以下命令，切换至ossadm用户。
> su - ossadm
Password:ossadm用户的密码
- 执行以下命令，查看管理面数据库运行状态。
> cd /opt/oss/manager/apps/DBAgent/bin
> bash dbsvc_adm -cmd query-db-instance
系统提示如下类似回显信息：
DBInstanceId ClassId InstNumber Tenant AzName IP Port State DBType ... backuprdb-0-999 single backuprdb-0-999 manager cn-global-1-a 10.7.162.90 26522 -- redis ... cloudsopdbsvr-1-0@2-0 primary cloudsopdbsvr-1-0 cdo service 10.7.162.93 32080 Up gauss ... cloudsopdbsvr-1-0@2-0 primary cloudsopdbsvr-2-0 cdo service 10.7.162.92 32080 Up gauss ... dbmgr_rdb-0-999 single dbmgr_rdb-0-999 manager cn-global-1-a 10.7.162.90 32091 -- redis ... ...
- “State”为“Up”或者“--”时，说明该数据库实例运行正常，执行4。
- “State”为“Down”时，说明该数据库实例停止运行，执行以下操作。
- 如果管理面或者产品的部署模式是集群模式时，在PuTTY工具中以ossadm用户执行以下命令，禁止主备数据库实例在180分钟内发生倒换，否则请跳过本步骤。
> cd /opt/oss/manager/agent/bin
> bash dbha_switch_tool.sh -cmd set-ignore-nodes -nodes all -expire 180
如果回显信息中未显示“Successful”，则表示执行失败，请联系华为技术支持工程师。
- 执行以下命令，启动管理面数据库。
> source /opt/oss/manager/bin/engr_profile.sh
> ipmc_adm -cmd startdc -tenant manager
系统提示如下类似回显信息，所有进程都提示“success”，则说明管理面数据库启动成功。否则请联系华为技术支持工程师。
============================ Starting data container processes... Starting redis process woadapterrdb-1-14 ... success ... Starting redis process serviceinspectionrdb-1-3 ... success Starting redis process privilegerdb-1-28 ... success ============================ Starting data container processes is complete.
- 如果管理面或者产品的部署模式是集群模式时，执行以下命令，恢复主备数据库实例的倒换，否则请跳过本步骤。
> cd /opt/oss/manager/agent/bin
> bash dbha_switch_tool.sh -cmd del-ignore-nodes
如果回显信息中未显示“Successful”，则表示执行失败，请联系华为技术支持工程师。
- 排查管理面服务是否异常。
- 使用PuTTY工具以sopuser用户通过SSH方式登录管理节点。
如果管理面的部署模式是集群模式，请先登录OMP_01节点执行以下操作，然后登录OMP_02节点执行以下操作。
- 执行以下命令，切换至ossadm用户。
> su - ossadm
Password:ossadm用户的密码
- 执行以下命令，查看管理面运行状态。
> source /opt/oss/manager/bin/engr_profile.sh
> ipmc_adm -cmd statusapp -tenant manager
系统提示如下类似回显信息：
Process Name Process Type App Name Tenant Name Process Mode IP PID Status backupwebsite-0-0 backupwebsite BackupWebsite manager cluster 10.93.95.239 341187 RUNNING unideploywebsite-0-0 unideploywebsite UniDeployWebsite manager cluster 10.93.95.239 341202 RUNNING mcfebservice-0-0 mcfebservice MCFEBService manager cluster 10.93.95.239 341553 RUNNING ... [All Processes: 16] [Running: 16] [Not Running: 0]
- “Not Running”为“0”时，说明所有进程都运行正常。
- “Not Running”为非“0”时，说明存在停止运行或者故障的进程，执行4.d。
- 执行以下命令，启动管理面服务。
> ipmc_adm -cmd startapp -tenant manager
系统提示如下类似回显信息，所有进程都提示“success”，则说明管理面服务启动成功，否则请联系华为技术支持工程师。
Starting process backupwebsite-0-0 ... success Starting process smapp-0-0 ... success Starting process cron-0-0 ... success ...
- 使用PuTTY工具以sopuser用户通过SSH方式登录管理节点。
，选择产品的数据同步方向。
。