No relevant resource is found in the selected language.

This site uses cookies. By continuing to browse the site you are agreeing to our use of cookies. Read our privacy policy>

Reminder

To have a better experience, please upgrade your IE browser.

upgrade

One of 3 MGWs went out of service completely due to the wrong configuration

Publication Date:  2012-07-27 Views:  43 Downloads:  0
Issue Description
1. Version: NE40E V300R003C02B697.
2. Digram: MGW--PHR-NE40E----MPLS Core---ISB-NE40E--S9303--Soft3000. 
3. Problem phenomenon: Core team has reported one problem that  on 22nd April 4 x STM-1 out of 6 x STM-1  went down due to some power issue in transmission provider causing congestion with Peshawar NE40E. They reported that PHRMGW9B went out of service completely while other 3 remain working. The service recovered after STM-1 recovered.
Alarm Information
None.
Handling Process
1. So we try to modify it to a correct reverse netmask 0.0.0.127:
#
acl number 3001 
 rule 25 permit ip source 172.31.80.0 0.0.0.127 
#
2. After that modification, we can find the matches in traffic policy statistics.
[ISB-NE40E-A2]disp traffic policy statistics interface Eth-Trunk 3 vlan 35 inbound
Info: The statistics is shared because the policy is shared.
Interface: Eth-Trunk3 , Vlan: 35
Traffic policy inbound: Signal
Traffic policy applied at 2010-03-22 16:48:13
Statistics enabled at 2011-04-29 17:38:23
Statistics last cleared: Never
Rule number: 7 IPv4, 0 IPv6
Current status: OK!
Item                             Packets                      Bytes
-------------------------------------------------------------------
Matched                            8,481                  2,578,822
  +--Passed                        8,481                  2,578,822
  +--Dropped                           0                          0
    +--Filter                          0                          0
    +--URPF                            0          
Root Cause
1. Regarding the QoS design in MPLS core, the signal traffic of MGW is in PQ and remarked with the DSCP value CS6 (router protocol with CS7) and without any bandwidth limitation. And all the signal traffic should be less than 10% of the total traffic.
2. When 4 x STM-1 out of 6 x STM-1  in MPLS core went down, the left 2x STM-1 could shift all the signal traffic freely.
3. At that moment only the signal traffic shifted on PHRMGW9B was down. 
4. So we suspect the packets sending from that MGW were not remarked by PHR-NE40E. But we found the same QoS configuration on PHRMGW9B as the other 3 MGWs had been done in PHR-NE40E. 
5. We also found that PHRMGW9B only communicates with the MSoft3000 connecting to S9303 but other 3 MGWs communicates with the MSoft3000 in other site. 
5. We found no matches in the traffic policy statistics on the ETH-TRUNK3 of ISB-NE40E which connecting to that corresponding MSOFT3000 172.31.80.6/7 which specially communicate with PHRMGW9B.
<ISB-NE40E-A2>disp traffic policy statistics interface Eth-Trunk 3 vlan 35 inbound 
Info: The statistics is shared because the policy is shared.
Interface: Eth-Trunk3 , Vlan: 35
Traffic policy inbound: Signal
Traffic policy applied at 2010-03-22 16:48:13
Statistics disabled at 2010-03-22 16:48:13
Statistics last cleared: Never
Rule number: 4 IPv4, 0 IPv6
Current status: OK!
Item                             Packets                      Bytes
-------------------------------------------------------------------
Matched                                0                          0
  +--Passed                            0                          0
  +--Dropped                           0                          0
    +--Filter                          0                          0
    +--URPF                            0                          0
6. We checked the ACL3001 for traffic policy signal in ISB-NE40E and found the reverse netmask for 172.31.80.0/25 is 0.0.0.128. The concerned configuration on ACL 3001: 
#
acl number 3001 
  rule 25 permit ip source 172.31.80.0 0.0.0.128 
#
7. 0.0.0.128 is also legal netmask but abnormal one as none will use it.
 128=10000000
1 means ignore
0 means match
If packet matches rule, then behavior remark DSCP to CS6
If packet not match rule, just permit without remark.
8. So all the packets from 172.31.80.6/7 was permitted without remark and put in the default queue BE without any priority.
Suggestions
None.

END