由于环路导致S9303下挂AG管理业务正常语音业务丢包

发布时间:  2014-09-12 浏览次数:  440 下载次数:  0
问题描述
版本信息:S9303 V100R002C00SPC200
网络拓扑:S9303-1----
            |         |--AG-1
            |         |
          S9303-2----
两台S9303启用VRRP,心跳链路为两台S9303的横穿链路,横穿链路承载三种业务,分别为网管VLAN1201、信令VLAN1202、媒体VLAN1203。三台AG分别双上行到两台S9303,上行口分别透传三种业务VLAN。心跳链路承载在24GE光板上、AG承载在48FE电口板上。AG工作模式为主备方式,正常情况下有一个端口是down状态。
故障现象:当S9303-1 VRRP状态为主,AG到到S9303-2端口UP,此时S9303-1信令、媒体到AG信令地址丢包严重,但是管理地址正常不丢包。(报文走向AG---S9303-2---S9303-1)
告警信息
#Nov 18 19:30:00 2010 Cssn-s2-a-gansuqy-5 L2IF/4/MAC_FLAPPING_ALARM:OID 1.3.6.1.4.1.2011.5.25.42.2.1.7.12The mac-address has flap value . (BaseTrapSeverity=0, BaseTrapProbableCause=0, BaseTrapEventType=4, L2IfPort=549,entPhysicalIndex=1, MacAdd=0025-9e70-a59c,vlanid=1202, FormerIfDescName=GigabitEthernet1/0/27,CurrentIfDescName=GigabitEthernet1/0/25,DeviceName=Cssn-s2-a-gansuqy-5)
*0.5895075 Cssn-s2-a-gansuqy-5 L2IF_MAC/7/MACFLAPPING:MAC-Flapping Mac: 0025-9e70-a59c, IfName: GigabitEthernet1/0/25, Vlan: 1202, Slot: 1
*0.5901003 Cssn-s2-a-gansuqy-5 L2IF_MAC/7/MACFLAPPING:MAC-Flapping Mac: 0025-9e70-a59c, IfName: GigabitEthernet1/0/32, Vlan: 1203, Slot: 1
处理过程
1、根据客户反馈现象,分别测试两台S9303直连之间链路不丢包,S9303与AG直连之间不丢包。排除链路问题;
2、由于S9303下挂三台AG都是同样现象,并且AG侧工程师对AG进行了主备倒换,问题依然存在。排除AG设备问题;
3、检查S9303的VRRP状态,发现VRRP状态正常。排除VRRP问题;
4、把VRRP心跳链路从GE光板更换到FE电口板,问题依然存在。排除单板问题;
5、通过在S9303-1上打开MAC漂移开关,发现统计计数增长,说明有MAC漂移现象存在。
具体命令如下:
[S9303-hidecmd]mac-flapping check enable
[S9303-hidecmd]display mac-flapping  statistics 
------------------------
Slot    Total           
------------------------
  1      93      
------------------------
Total Flapping:93 
[S9303-hidecmd]display mac-flapping statistics 
------------------------
Slot    Total           
------------------------
  1      170     
------------------------
Total Flapping:170 
6、打开MAC漂移告警上报开关、t d、t m开关。
   由于S9300系列交换机MAC漂移告警不在loggbuff里面显示,需要打开告警开关,t d,t m才能在设备上显示具体告警信息,命令如下:
[S9303]mac-flapping alarm  enable
#Nov 18 19:30:00 2010 Cssn-s2-a-gansuqy-5 L2IF/4/MAC_FLAPPING_ALARM:OID 1.3.6.1.4.1.2011.5.25.42.2.1.7.12The mac-address has flap value . (BaseTrapSeverity=0, BaseTrapProbableCause=0, BaseTrapEventType=4, L2IfPort=549,entPhysicalIndex=1, MacAdd=0025-9e70-a59c,vlanid=1202, FormerIfDescName=GigabitEthernet1/0/27,CurrentIfDescName=GigabitEthernet1/0/25,DeviceName=Cssn-s2-a-gansuqy-5)
*0.5895075 Cssn-s2-a-gansuqy-5 L2IF_MAC/7/MACFLAPPING:MAC-Flapping Mac: 0025-9e70-a59c, IfName: GigabitEthernet1/0/25, Vlan: 1202, Slot: 1
*0.5901003 Cssn-s2-a-gansuqy-5 L2IF_MAC/7/MACFLAPPING:MAC-Flapping Mac: 0025-9e70-a59c, IfName: GigabitEthernet1/0/32, Vlan: 1203, Slot: 1
发现AG的信令MAC在S9303-1上从1/0/25和1/0/27都学到了,VLAN为1202。1/0/25为AG实际接口,1/0/27为两台S9303的互联链路。在1/0/32接口从VLAN1203也学习到AG的MAC。
7、经过再次与客户沟通,了解到两台S9303的1/0/32下挂了同一台S3328交换机,并且交换机所有端口默认VLAN1。S9303-1的1/0/32端口default vlan 1203 ,S9303-2的1/0/32端口default vlan 1202。
网络拓扑:S9303-1(1/0/32vlan1203)----
            |                        |
            |                        |--S3328--IAD
          S9303-2(1/0/32vlan1202)----
8、由于VLAN1202是信令VLAN,VLAN1203是媒体VLAN,对于AG来说使用同一个MAC地址。媒体报文的VLAN1203的MAC通过S9303-1(1/0/32)--S3328--S9303-2(1/0/32)--S9303-1(1/0/27)就会生成信令VLAN1202的MAC表项。
9、协调客户关闭S9303-1的1/0/32端口,查看mac表项正常,测试信令、媒体地址不再丢包。由于1/0/32默认VLAN没有涉及网管VLAN不存在MAC漂移问题,所以开始也不丢包。
根因
1、链路问题;
2、AG设备问题;
3、VRRP状态问题;
4、S9300硬件问题
5、其他原因
建议与总结
网络部署时一定要合理规划网络,避免环路产生。

END