No relevant resource is found in the selected language.

This site uses cookies. By continuing to browse the site you are agreeing to our use of cookies. Read our privacy policy>

Reminder

To have a better experience, please upgrade your IE browser.

upgrade

The Service Interrupts after Switchover because NE40E ARP Table is Abnormal

Publication Date:  2012-07-27 Views:  46 Downloads:  0
Issue Description
Softswitch device dual-homes two NE40E devices and softswitch master card is interconnected with NE40E-1.
Softswitch slave card is interconnected with NE40E-2. Two NE40E attach two servers. When softswitch server switches over, the service interrupts.
Server master board is interconnected with NE40E-1 and MAC address is 00e0-fca7-3b95. Server slave board is interconnected with NE40E-2 and MAC address is 00e0-fca7-3bb3. Server master card ans slave card share IP address 10.29.34.230 and two NE40E enable VRRP for the server.
After the server switches from master card to slave card, on-site collected information is as follows:
ARP information of NE40E-1 device: 
<HBXFA_PA_SXNET_RT01-NE40E>dis time all
Current time is 17:06:12 12-13-2006 Wednesday              
<HBXFA_PA_SXNET_RT01-NE40E>dis arp
IP ADDRESS      MAC ADDRESS  EXPIRE(M) TYPE INTERFACE      VPN-INSTANCE
                                       VLAN PVC
------------------------------------------------------------------------------
10.3.31.33      00e0-fca6-7f76         I -  Vlanif1000
10.3.31.34      00e0-fca6-7f70  12     DF1  Eth-T0
                                       1000
10.29.34.226    00e0-fca6-7f76         I -  Vlanif110
10.29.34.230    00e0-fca7-3bb3  20     DF1  Eth-T0
                                       110
10.29.34.234    00e0-fca6-7f76         I -  Vlanif100
10.29.34.238    00e0-fc96-fb87  20     DF1  GE1/0/2
                                       100
10.29.34.250    00e0-fca6-7f76         I -  Vlanif10
10.29.34.251    00e0-fca6-7f70  2      DF1  Eth-T0
                                       10
10.29.34.252    00e0-fc95-4b18  19     DF1  GE1/0/3
                                       10
------------------------------------------------------------------------------
Total:9         Dynamic:5       Static:0    Interface:4
ARP information of NE40E-2 device:
Current time is 17:05:48 12-13-2006 Wednesday              
<HBXFA_PA_SXNET_RT02-NE40E>dis arp
IP ADDRESS      MAC ADDRESS  EXPIRE(M) TYPE INTERFACE      VPN-INSTANCE
                                       VLAN PVC
------------------------------------------------------------------------------
10.3.31.34      00e0-fca6-7f70         I -  Vlanif1000
10.3.31.33      00e0-fca6-7f76  17     DF1  Eth-T0
                                       1000
10.29.34.227    00e0-fca6-7f70         I -  Vlanif110
10.29.34.225    0000-5e00-0103  16     DF1  Eth-T0
                                       110
10.29.34.230    00e0-fca7-3b95  20     DF1  Eth-T0
                                       110
10.29.34.235    00e0-fca6-7f70         I -  Vlanif100
10.29.34.233    0000-5e00-0102  18     DF1  Eth-T0
                                       100
10.29.34.238    00e0-fc96-fb87  20     DF1  Eth-T0
                                       100
10.29.34.251    00e0-fca6-7f70         I -  Vlanif10
10.29.34.250    00e0-fca6-7f76  7      DF1  Eth-T0
                                       10
10.29.34.249    0000-5e00-0101  20     DF1  Eth-T0
                                       10
10.29.34.252    00e0-fc95-4b18  20     DF1  Eth-T0
                                       10
------------------------------------------------------------------------------
Total:12        Dynamic:8       Static:0    Interface:4
From the information above ARP table on NE40E-2 is not correct. After switchover NE40E-2 should not have learnt MAC address 00e0-fca7-3b95 but MAC address 00e0-fca7-3bb3.
Alarm Information
Null
Handling Process
1. Softswitch server switches master board to slave board (the master board is interconnected with NE40E-1 and the slave board is interconnected with NE40E-2).
It is found that ARP tables of interface boards of master NE40E-1 and NE40E-2 are correct. However, ARP tables on MPU of NE40E-1 and NE40E-2 are still the state before switchover, indicating that ARP tables of MPU of NE40E-1 and NE40E-2 do not synchronize with interface board.
2. After exchanging the cable of softswitch device, Shiyan servers switch maser board to slave board again (the master board is interconnected with NE40E-2 and the slave board is interconnected with NE40E-1). 
It is found that ARP tables of interface boards of master NE40E-1 and NE40E-2 are correct. However, ARP tables of MPU of NE40E-1 and NE40E-2 are still the state before switchover, indicating that ARP tables on MPU of NE40E-1 and NE40E-2 do not synchronize with interface board.
Normally, after ARP is learnt from interface board, the interface board will synchronize with MPU through ARP IPC channel and upgrade ARP table of MPU. But the test displays that they do not synchronize.
In order to further confirm the reason, ARP IPC channel on NE40E is checked. It is found that the parameter of ARP IPC channel on two NE40E上ARP IPC remains high for long, indicating that ARP IPC has been busy or congested for long. It is possible that ARP IPC channel makes ARP not update.
3. Capture packet at interconnected interface between softswitch device and NE40E. It is found that softswitch server sends more than 100 (next to 200) ARP gateway request packets every second. NE40E of local site attaches two servers, i.e. one NE40E receives more than 300 (approximately 400) ARP packets every second, which easily results in ARP attack.
The expert simulates and tests captured packet in the lab. When 500 ARP packets are sent every second, ARP IPC channel between NE40E MPU and interface board increases 10 every second. After a period the value accumulates fixed one (3000 or so), NE40E ARP IPC channel will be busy or congested. Test result and on-site situation are the same. Before switchover ARP IPC channel is 2800~2999, while it exceeds 3000 after switchover.
4. In order to further check that too many ARP packets make ARP IPC channel congested, add one 24FE board of slot 7 on NE40E-2 and change softswitch service of slot 1 on NE40E-2 to slot 7. Check ARP IPC channel value of slot 1 and it is found that the value reduces gradually. Finally it is 70-80 or so, which is normal. Check ARP IPC channel value of slot 7 and it is found that it increases from a few dozen to 256 and continues to increase. The IPC channel value is on slow increase and is in normal range. Switch over the service and it is normal. ARP learning is normal and so is ARP learning of slot 1.
5. Change the sending rate of softswitch device ARP packet as per one/every 10 seconds and then the switchover is normal.
Root Cause
Too many ARP packets make ARP IPC channel congested.  ARP learnign is not normal and the service interrupts.
Suggestions
The handling performance of NE40E ARP packets is limited. If NE40E attaches softswitch device or there are many terminals, ARP packets should not too many. Otherwise ARP is not normal.

END