在RRPP环内设置两个Master节点导致环内出现广播风暴和业务中断

发布时间:  2012-07-27 浏览次数:  96 下载次数:  0
问题描述
现场组网简单描述:
10余台CX600设备环状连接组成“10G Core Ring”,每台CX600下面都接入了多台S6502组成RRPP环。
问题发生时:
1、一线工程师在NWT RRPP环中配置了两个Master节点,导致所有的RRPP环内出现广播风暴,业务中断。
2、有6台设备脱管,1台CX600,5台S6502.广播导致MRTG和NMS的snmp报文丢失。
告警信息
 GigabitEthernet0/0/2 current state : UP
 IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 000f-e26a-27e6
 Description: To NWTRNHV-H600-1 G5/0/0
 The Maximum Transmit Unit is 1500
 Media type is Optical fiber, loopback not set
 Port hardware type is XFP_10GBASE_LR
 10Gbps-speed mode, Full-duplex mode
 Link speed type is force link, Link duplex type is force link
 Flow-control is not enabled
 The Maximum Frame Length is 9216
 Allow jumbo frame to pass
 PVID: 1                                  
 Mdi type: auto
 Port link-type: trunk
  VLAN passing  : 1(default vlan), 99-100, 503, 511, 518, 525-530, 1001-1005, 1020-1023, 1040-1043, 1060-1063, 1080-1083, 1100-1103, 1524, 1528, 1531, 1534, 1624, 1628, 1631, 1634, 2009, 2017, 2024-2025, 2035, 2041, 4088-4089, 
  VLAN permitted: 1(default vlan), 2-4091, 4094, 
  Trunk port encapsulation: IEEE 802.1q
 Last 300 seconds input:  51 packets/sec 6308 bytes/sec
 Last 300 seconds output:  0 packets/sec 2 bytes/sec
 Input(total):  4333707085 packets, 413646937654 bytes
         - broadcasts, - multicasts
 Input(normal):  4322741679 packets, - bytes
         742510302 broadcasts, 1878029906 multicasts
 Input:  0 input errors, 0 runts, - giants,  0 throttles, 0 CRC
         0 frame,  - overruns, - aborts, - ignored, - parity errors
 Output(total): 4851907425 packets, 434075310087 bytes
         - broadcasts, - multicasts, - pauses
 Output(normal): 4851907425 packets, - bytes
         657414993 broadcasts, 1649357315 multicasts, 0 pauses
 Output: 0 output errors,  - underruns, - buffer failures
         0 aborts, 0 deferred, 0 collisions, 0 late collisions
         - lost carrier, - no carrier
 Receive Packet Peak Value Info: 450829278 bytes/sec, happened at 17:3:5 5-11-2009
 Transmit Packet Peak Value Info: 439484726 bytes/sec, happened at 17:4:16 5-11-2009
处理过程
事故在下午17点左右发生,一线工程师在NWT RRPP环中配置了两个Master节点,导致所有的RRPP环内出现广播风暴,业务中断。17:20左右,去掉其中的一个Master节点后,业务恢复正常。
根因
经过分析,由于在NWT环上错误的配置了两个主节点,主节点主动发hello,进行health检查,从master端口发出,backup端口接收终结,通过此机制检查环的health状态。传输节点透传rrpp报文,FLUSH报文在传输节点上一份用于删除ARP/MAC,所以当配置双master后,发出的hello,经过另一台MASTER后,不会透传,直接终结,所以RING检查失败,同时报RRPP MASTER冲突信息,导致block端口被放开,此环逻辑上成环,若此网中存在广播流量,流量会转发到其它环网上去。 另外成环后,网络中会发生MAC漂移的现象,导致MAC漂移到了成环的网络上,造成业务异常。
        
 GigabitEthernet0/0/2 current state : UP
 IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 000f-e26a-27e6
 Description: To NWTRNHV-H600-1 G5/0/0
 The Maximum Transmit Unit is 1500
 Media type is Optical fiber, loopback not set
 Port hardware type is XFP_10GBASE_LR
 10Gbps-speed mode, Full-duplex mode
 Link speed type is force link, Link duplex type is force link
 Flow-control is not enabled
 The Maximum Frame Length is 9216
 Allow jumbo frame to pass
 PVID: 1                                  
 Mdi type: auto
 Port link-type: trunk
  VLAN passing  : 1(default vlan), 99-100, 503, 511, 518, 525-530, 1001-1005, 1020-1023, 1040-1043, 1060-1063, 1080-1083, 1100-1103, 1524, 1528, 1531, 1534, 1624, 1628, 1631, 1634, 2009, 2017, 2024-2025, 2035, 2041, 4088-4089, 
  VLAN permitted: 1(default vlan), 2-4091, 4094, 
  Trunk port encapsulation: IEEE 802.1q
 Last 300 seconds input:  51 packets/sec 6308 bytes/sec
 Last 300 seconds output:  0 packets/sec 2 bytes/sec
 Input(total):  4333707085 packets, 413646937654 bytes
         - broadcasts, - multicasts
 Input(normal):  4322741679 packets, - bytes
         742510302 broadcasts, 1878029906 multicasts
 Input:  0 input errors, 0 runts, - giants,  0 throttles, 0 CRC
         0 frame,  - overruns, - aborts, - ignored, - parity errors
 Output(total): 4851907425 packets, 434075310087 bytes
         - broadcasts, - multicasts, - pauses
 Output(normal): 4851907425 packets, - bytes
         657414993 broadcasts, 1649357315 multicasts, 0 pauses
 Output: 0 output errors,  - underruns, - buffer failures
         0 aborts, 0 deferred, 0 collisions, 0 late collisions
         - lost carrier, - no carrier
 Receive Packet Peak Value Info: 450829278 bytes/sec, happened at 17:3:5 5-11-2009
 Transmit Packet Peak Value Info: 439484726 bytes/sec, happened at 17:4:16 5-11-2009
建议与总结
请勿在RRPP环内设置两个Master节点。

END