访问服务器丢包

发布时间:  2016-12-15 浏览次数:  54 下载次数:  0
问题描述

某局点反映业务访问过程中,出现严重丢包现象。

告警信息

处理过程

发生故障后,客户生成已优先通知服务器厂商对服务器进行排查,服务器厂商称服务器无故障,怀疑故障在交换机侧。工程师到场排查为,从logbuffer 和trapbuffer查看无异常信息,CPU,内存,设备温度在正常范围内,S5700交换机接口带宽利用率很小,初步判定设备一切正常。最后通过流统进行故障定位,流统结果显示数据包发往服务器后,服务器未回应。判定故障在服务器侧。服务器厂商怀疑我方结论,自带一台华三交换机直连服务器备网卡(服务器网卡为主备模式),访问无丢包。再次查看S5700信息,发现端口带宽利用率极低,但是报文转发数量达到每秒30多万,针对该异常现象进行抓包,报文显示,这些报文均为UDP报文且来自于同一个IP地址,客户协助排查发现,源头是一台非业务相关服务器,征得客户同意后,断开该服务器与网络的连接,之后网络恢复正常。

根因

异常服务器在广播大量UDP报文,正常的业务服务器网卡资源在处理非法报文,无法有效对的正常业务报文做出相应,导致了报文的有来无回。

解决方案

将问题服务器移除网络。

END