Broadcast storm problem and service interrupted because of there are two master nodes in one rrpp ring at the same time.

Publication Date:  2012-07-27 Views:  178 Downloads:  0
Issue Description
There are almost 10 CX600 routers link one by one as a ring. Every CX600 accesses several S6502 switch and composes RRPP ring.
When accident happen:
1.Local engineer set two master node on NWT RRPP ring, and this causes broadcast storm in RRPP ring. Then service be interrupted.
2.There are 6 devices loses connection with management system, include 1 CX600 and 5 S6502. Broadcast storm causes the packets of  MRTG and NMS be dropped.
Alarm Information
 GigabitEthernet0/0/2 current state : UP
 IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 000f-e26a-27e6
 Description: To NWTRNHV-H600-1 G5/0/0
 The Maximum Transmit Unit is 1500
 Media type is Optical fiber, loopback not set
 Port hardware type is XFP_10GBASE_LR
 10Gbps-speed mode, Full-duplex mode
 Link speed type is force link, Link duplex type is force link
 Flow-control is not enabled
 The Maximum Frame Length is 9216
 Allow jumbo frame to pass
 PVID: 1                                  
 Mdi type: auto
 Port link-type: trunk
  VLAN passing  : 1(default vlan), 99-100, 503, 511, 518, 525-530, 1001-1005, 1020-1023, 1040-1043, 1060-1063, 1080-1083, 1100-1103, 1524, 1528, 1531, 1534, 1624, 1628, 1631, 1634, 2009, 2017, 2024-2025, 2035, 2041, 4088-4089, 
  VLAN permitted: 1(default vlan), 2-4091, 4094, 
  Trunk port encapsulation: IEEE 802.1q
 Last 300 seconds input:  51 packets/sec 6308 bytes/sec
 Last 300 seconds output:  0 packets/sec 2 bytes/sec
 Input(total):  4333707085 packets, 413646937654 bytes
         - broadcasts, - multicasts
 Input(normal):  4322741679 packets, - bytes
         742510302 broadcasts, 1878029906 multicasts
 Input:  0 input errors, 0 runts, - giants,  0 throttles, 0 CRC
         0 frame,  - overruns, - aborts, - ignored, - parity errors
 Output(total): 4851907425 packets, 434075310087 bytes
         - broadcasts, - multicasts, - pauses
 Output(normal): 4851907425 packets, - bytes
         657414993 broadcasts, 1649357315 multicasts, 0 pauses
 Output: 0 output errors,  - underruns, - buffer failures
         0 aborts, 0 deferred, 0 collisions, 0 late collisions
         - lost carrier, - no carrier
 Receive Packet Peak Value Info: 450829278 bytes/sec, happened at 17:3:5 5-11-2009
 Transmit Packet Peak Value Info: 439484726 bytes/sec, happened at 17:4:16 5-11-2009
Handling Process
After remove one of the master node in RRPP ring, the service is recovered.
Root Cause
There are two master nodes in the NWT ring. Master node sends hello packets for health checking. Backup node recieves the packets and terminal it. Transport node just forward rrpp packets.So if there are two master nodes, one of the master node sends hello packets and another one master node receives the packets, it will terminal it but doesn't forward it. So the health checking is failed. At the same time device will report RRPP MASTER conflict information and the blocked interface will be unlocked. There is a logic ring in the network. Boradcast storm is formed and mac flapping problem is appearing. So the service is effected.
        
 GigabitEthernet0/0/2 current state : UP
 IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 000f-e26a-27e6
 Description: To NWTRNHV-H600-1 G5/0/0
 The Maximum Transmit Unit is 1500
 Media type is Optical fiber, loopback not set
 Port hardware type is XFP_10GBASE_LR
 10Gbps-speed mode, Full-duplex mode
 Link speed type is force link, Link duplex type is force link
 Flow-control is not enabled
 The Maximum Frame Length is 9216
 Allow jumbo frame to pass
 PVID: 1                                  
 Mdi type: auto
 Port link-type: trunk
  VLAN passing  : 1(default vlan), 99-100, 503, 511, 518, 525-530, 1001-1005, 1020-1023, 1040-1043, 1060-1063, 1080-1083, 1100-1103, 1524, 1528, 1531, 1534, 1624, 1628, 1631, 1634, 2009, 2017, 2024-2025, 2035, 2041, 4088-4089, 
  VLAN permitted: 1(default vlan), 2-4091, 4094, 
  Trunk port encapsulation: IEEE 802.1q
 Last 300 seconds input:  51 packets/sec 6308 bytes/sec
 Last 300 seconds output:  0 packets/sec 2 bytes/sec
 Input(total):  4333707085 packets, 413646937654 bytes
         - broadcasts, - multicasts
 Input(normal):  4322741679 packets, - bytes
         742510302 broadcasts, 1878029906 multicasts
 Input:  0 input errors, 0 runts, - giants,  0 throttles, 0 CRC
         0 frame,  - overruns, - aborts, - ignored, - parity errors
 Output(total): 4851907425 packets, 434075310087 bytes
         - broadcasts, - multicasts, - pauses
 Output(normal): 4851907425 packets, - bytes
         657414993 broadcasts, 1649357315 multicasts, 0 pauses
 Output: 0 output errors,  - underruns, - buffer failures
         0 aborts, 0 deferred, 0 collisions, 0 late collisions
         - lost carrier, - no carrier
 Receive Packet Peak Value Info: 450829278 bytes/sec, happened at 17:3:5 5-11-2009
 Transmit Packet Peak Value Info: 439484726 bytes/sec, happened at 17:4:16 5-11-2009
Suggestions
Please don't set two master nodes in one RRPP ring at the same time.

END