WAP网关平台由于S5300 eth-trunk聚合负载不均匀导致业务异常

发布时间:  2014-09-12 浏览次数:  392 下载次数:  9
问题描述

如上组网,为某国内运营商WAP网关平台组网,平台为友商A厂家设备,网络设备交换机为我司S5300交换机,防火墙为我司Eudemon8080E,F5为友商负载均衡设备。故障时WAP网关代理类业务反馈重传率比较高,业务感知差。
告警信息
处理过程
修改S5300交换机eth-trunk 负载分担模式为src-dst-ip解决。
根因
1、业务重传率高的主要原因时网络丢包,所以本次故障先判断网络是否有丢包。通过WAP网关服务器做ping测试时,发现ping防火墙下联口ip时有丢包。

2、发现丢包,一般有几个原因:链路问题,拥塞,单板硬件问题。通过逐一排查,发现S5300-1(主用)交换机至Eudmeon8080E-1防火墙(主用)的聚合口,其中有一个端口0/0/26出流量基本饱和,而聚合组eth-trunk 2的其他另外3个端口出流量几乎为0。

<ZJ-SX-WAP-SW-1>display interface GigabitEthernet 0/0/26
GigabitEthernet0/0/26 current state : UP
Line protocol current state : UP
Description:HUAWEI, Quidway Series, GigabitEthernet0/0/26 Interface
Switch Port,The Maximum Frame Length is 1600
IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 4c1f-cc89-444f
Port Mode: COMMON COPPER
Speed : 1000,  Loopback: NONE
Duplex: FULL,  Negotiation: ENABLE
Mdi   : AUTO
Last 300 seconds input rate 303309376 bits/sec, 49043 packets/sec
Last 300 seconds output rate 859732448 bits/sec, 168817 packets/sec
Input peak rate 1274213344 bits/sec,Record time: 2013-01-25 20:48:57
Output peak rate 1156590088 bits/sec,Record time: 2013-02-28 21:17:56
Input:  74958369082 packets, 55628994829206 bytes
Unicast        :         74953519590,Multicast          :             4078547
Broadcast      :              770945,Jumbo              :                   0
CRC            :                   0,Giants             :                   0
Jabbers        :                   0,Throttles          :                   0
Runts          :                   0,DropEvents         :                   0
Alignments     :                   0,Symbols            :                   0
Ignoreds       :                   0,Frames             :                   0
Discard        :                   0,Total Error        :                   0
Output:  245996082823 packets, 153321354764073 bytes
Unicast        :        245988197448,Multicast          :             1338948
Broadcast      :             6546429,Jumbo              :                   0
Collisions     :                   0,Deferreds          :                   0
Late Collisions:                   0,ExcessiveCollisions:                   0
Buffers Purged :                   0
Discard        :                   0,Total Error        :                   0
    Input bandwidth utilization threshold : 100.00%
    Output bandwidth utilization threshold: 100.00%
    Input bandwidth utilization  : 30.33%
    Output bandwidth utilization : 85.97%

3、通过分析现网组网,WAP网关服务器网关终结在S5300交换机的VLAN 300上;然后S5300交换机通过静态路由指向F5负载均衡,出接口为vlan 200接口;F5负载均衡器通过S5300交换机vlan 100二层透传至防火墙Eudemon8080E,下一跳为防火墙下联交换机接口ip。所以WAP网关出流量通过F5 进S5300交换机的eth-trunk 3接口后,从eth-trunk2 接口出至防火墙Eudemon8080E,由于在这个过程中S5300充当了二层交换机的角色,数据转发的目的mac地址为Eudemon8080E下联接口的虚MAC(防火墙为双机热备部署)

4、按照S5300交换机V1R5版本eth-trunk默认负载分担模式为src-dst-mac来分析,由于目的mac只有一个,所以流量只会hash到一条链路,即使S5300交换机和防火墙之间部署了多条链路做聚合,流量也只会走在一条上,导致流量出现拥塞。
建议与总结
如果S5300交换机做三层转发,或者处于上下行路由设备之间做二层透传,eth-trunk接口建议配置为src-dst-ip,避免hash不均匀。

END