交换机S8500一个GE端口下的S2300被雷击坏导致其它端口下的AP上线异常

发布时间:  2014-09-12 浏览次数:  142 下载次数:  0
问题描述
组网信息:
网管——AC——S8500——S9300——MA5680T——MA5626——AP_A
                            |                |
                      传输波分 友商XPON设备
                            |                 |
                        S2300          AP_B
故障现象:
1、网管负责AP设备的管理。
2、在网管上ping AP_A,发现时通时断,大部分时间中断,偶尔能通几个包。
3、在网管上ping AP_B,发现都能通信正常。
4、AP_A及AP_B区域下AP的管理VLAN都是505。
5、全网的AP的管理VLAN都采用单层方式,未使用QINQ。
告警信息

处理过程
1、检查S8500、S9300、MA5680T、MA5626的数据配置,都没有问题。
2、让用户检查AC上的数据配置,也未发现问题。
3、由于出现问题的AP都集中在VLAN 505下,尝试调整AP_A区域下一个AP的管理VLAN为506,测试发现该AP可正常上线,业务正常。
4、初步怀疑VLAN 505下的网络有MAC地址漂移或者环路,但是友商XPON设备下带的AP_B区域并未受影响,故障现象比较奇怪。
5、从下层MA5680T开始往上层逐台设备查看MAC地址学习表项,发现AP的MAC大部分时间都漂移到S9300的上行口(与S8500对接的端口),在S9300上大概需要等待10分钟左右才能看到MAC漂移的现象,不是太明显,初步确认环路源头在S8500上。
6、进入S8500查看MAC地址表项,发现AP的MAC漂移到Ethernet 6/1/46端口上,反复查看S8500的Ethernet 6/1/46端口MAC地址学习情况,发现该端口下MAC地址数量最高时学习到100个左右,最少时下降到25个,90%以上的MAC都集中在VLAN 505下,向用户了解到Ethernet 6/1/46端口下VLAN 505下带的实际的业务量为20以内。
7、因此确认该端口下存在环路,尝试关闭Ethernet 6/1/46后,所有VLAN 505下的AP上线正常。
8、最终核查发现:在S8500的Ethernet 6/1/46下经过传输下带了一台S2300交换机,维护人员现场确认该交换机已被雷击坏,电源没有故障,所有以太网口灯在未接网线的情况下常亮。拆除该S2300后,更换新的设备,问题彻底解决。
根因
1、可能是MA5680T下的GPON网络的问题。
2、可能是S9300上数据配置有问题。
3、可能是AC与AP之间配置的数据有问题。
4、可能网络存在MAC地址漂移,MAC表项转发不正确。
建议与总结
    在故障处理过程中发现在S9300上观察上10分钟左右才能看到AP设备MAC漂移的现象,现象不是太明显,且没有影响到AP_B区域下VLAN505的业务,因此在问题处理时很容易忽略VLAN 505存在环路这个原因。
    在处理环路的问题时,业务影响的范围在同一个VLAN广播域里,但很多时候不一定会影响全局,处理需要耐心查询,仔细观察及分析。

END