VIS6600T的ISM界面上频繁出现链路断开告警处理

发布时间:  2016-01-15 浏览次数:  158 下载次数:  0
问题描述

 VIS6600T设备版本V200R003C00SPC800,本端一台VIS设备,两台思科光交,一台华为18500存储。对端一台VIS设备,两台思科光交,一台EMC存储。

VIS6600TISM界面上频繁出现链路断开告警,思科光交端口频繁up down转换。该问题经常出现。

告警信息
 

  VIS6600T  ISM界面上出现链路断开,节点离线和逻辑盘状态异常的等告警信息。

处理过程

1, 更换交换机级联链路级联线

2, 如问题还存在则需要更换级联端口光模块

3,  1,2后问题还存在,则需要心跳交换机工程师对其进行进一步分析,找出问题根因。

根因

1,通过巡检报告,可以发现VIS6600T23节点在15日到16日出现了3次异常复位,截图如下,记录的时间为UTC时间,实际时间需要加8小时。

2VIS23节点异常复位,导致23节点连接的FC链路全部中断,ISM界面上出现链路断开,节点离线和逻辑盘状态异常的等告警信息。

3,  该问题从生过多次,具体时间点截图如下:

4VIS6600T节点23异常复位的原因是节点01和节点23之间的心跳中断超过8秒,VIS集群进入仲裁,仲裁完成后将节点23复位。以最后一次复位为例,具体分析如下:

节点0无法接收到来自节点23的心跳,日志如下:

节点2无法接收来自节点01的心跳,日志如下:

5,  心跳链路断开后触发VIS6600T集群仲裁,仲裁完成后,集群将节点23复位。

从问题现象来看,问题发生时节点01之间心跳能相互通信,节点23之间也能相互通信,而两个站点之间无法进行通信,因此心跳交换机级联链路或者级联端口出现问题。

解决方案

1.临时解决措施

无。

2.最终解决措施

1、  需要排查VIS6600T站点间心跳链路,找出导致心跳链路中断原因,保证站点间心跳链路正常。

2、  需要排查EMC阵列映射的LUN是否存在问题。

END