数据中心CE6800(版本信息:V100R002C00SPC200)交换机下接E9000服务器、服务器之间相互通讯丢包

发布时间:  2017-03-06 浏览次数:  102 下载次数:  0
问题描述

2017年3月5日,某客户反馈CE6800-EI下挂E9000服务器,每个E9000服务器有16个刀片,服务器之间传输速度慢,然后进行相互Ping测试发现丢包。

告警信息

交换机无告警信息,只要服务器之间Ping丢包,服务器之间相互拷贝文件慢

处理过程

步骤一,命令行查看Eth-trunk下端口计数存在出方向上的drops计数

Eth-Trunk3 current state : UP (ifindex: 80)

Line protocol current state : UP

IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 74a0-63f4-1811

Current system time: 2017-03-05 11:26:11+08:00

Physical is ETH_TRUNK

    Last 300 seconds input rate 1177802617 bits/sec, 155319 packets/sec

    Last 300 seconds output rate 1181949151 bits/sec, 151234 packets/sec

    Input: 7647767085 packets,6947234493507 bytes

           7647767082 unicast,0 broadcast,1 multicast

           0 errors,0 drops

    Output:7482819872 packets,6953089614222 bytes

           7482714761 unicast,19057 broadcast,86053 multicast

           0 errors,249641063 drops

    Last 300 seconds input utility rate:  59%

    Last 300 seconds output utility rate: 59%


步骤二,因为Eth-trunk下端口计数显示的是成员口上出方向discards计数,查看eth-trunk成员口计数存在discard计数

GE1/0/1 current state : UP (ifindex: 5)

Line protocol current state : UP

......

Output:

Unicast:             3750922343,   Multicast:                   63479

Broadcast:                 9647,   Jumbo:                           0

Discard:              123553844,   Buffers Purged:                  0

......

Last 300 seconds input utility rate:  59%

Last 300 seconds output utility rate: 59%

 

GE1/0/2 current state : UP (ifindex: 6)

Line protocol current state : UP

......

Output:

Unicast:             3732444733,   Multicast:                   22579

Broadcast:                 9410,   Jumbo:                           0

Discard:              126107850,   Buffers Purged:                  0

......

Last 300 seconds input utility rate:  59%

根因

根据反馈来看,晚间流量大时discard计数增长较快而且ping丢包相对更严重。同时ping丢包时diacard计数增长说明,是端口存在discard使得丢包。

discard计数的产生的原因是由于设备端口存在瞬时超过端口带宽的流量。而且设备端口计数都是以默认300s为统计周期的,所以就会出现查看端口带宽没有特别大,而端口出现diacard计数,从而出现ping丢包的问题。

之前通过处理此类问题了解到如果现网流量出现存在多个服务器访问一个服务器的场景就会大概率的出现端口有瞬时的超带宽流量,从而有discard计数的增长的现象。

解决方案

对网络设备和服务器的带宽进行扩容,这样能从根本上解决该问题。扩容方法在ETH_TRUNK端口中再添加新的成员端口

建议与总结

END