USG6680内网在上行带宽达到运营商限制后出现大量丢包,导致业务异常

发布时间:  2015-12-06 浏览次数:  177 下载次数:  0
问题描述

组网描述:

内网-------S12712-----------(G2/0/7)USG6680(G2/0/6)----------S5700-----联通61.x.x.33

 故障现象:

 客户内网到联通运营商丢包严重导致业务异常。在USG(61.x.x.35)上直接PING联通公网地址61.x.x.33上,G2/0/7   UNDO SHUTDOWN时,100个包丢包40个左右,SHUTDOWNG2/0/7后,无丢包现象且延迟稳定。同时,在有丢包现象时,在USG上PING对端直连的运营商网关地址61.x.x.33也会丢包。


 

处理过程

处理过程1:

      在防火墙上的G2/0/7端口,查看接口的计数:

输出队列 : (紧急队列 : 当前/最大/丢弃)  0/50/0
输出队列 : (分片队列 : 当前/最大/丢弃)  0/1000/0
输出队列 : (协议队列 : 当前/最大/丢弃) 0/1000/0
输出队列 : (先进先出队列 : 当前/最大/丢弃)  0/256/0
    上一个300 秒输入速率为 714703 字节/秒, 4318 报文/秒
    上一个300 秒输出速率为 4947176 字节/秒, 4655 报文/秒
   端口速率并不大,没有拥塞导致丢包的可能性。



处理过程2:

      在确认丢包现象后,在USG设备上做流通进行抓包,确认在USG6680报文的转发情况:

Protocol(ICMP) SourceIp(172.17.22.250) DestinationIp(61.180.150.33)  
SourcePort(3) DestinationPort(2048) VpnIndex(public)  
                 RcvnFrag    RcvFrag     Forward     DisnFrag    DisFrag  
Obverse(pkts) : 14          0           14          0           0            
Reverse(pkts) : 11          0           11          0           0         
  
Discard detail information:

      通过流统结果显示,防火墙的收到的报文都进行了转发,并且回程报文少于发送的报文,初步确认在USG上未丢包。




处理过程3:

    分析到客户描述的故障现象 当内网口G2/0/7号口被shutdown ,在设备上丢包的现象消失,怀疑是否是上行流量的异常导致丢包:

    在S5700上接另外一台交换机,配置61.X.X.X的运营商地址,PING对端61.x.x.33,也有丢包现象,同时在交换机上做流统发现,是对端运营商对本端交换机发出的PING报文没有回复导致的丢包,现象和USG上做流统的现象一致。出现这种可能的原因通过判断只有运营商侧的带宽限制。

     通过客户确认,使用运营商专线,上行链路带宽在30M左右,观察USG上的G2/0/7端口流量,已经达到了上行带宽的峰值,所以会出现丢包现象,丢包原因为运营商侧没有回复ICMP报文导致丢包。

 



根因

根因:

     客户内网上行流量的迅速增长,达到了运营商的上行流量峰值,造成了在运营商侧的丢包。

     该问题在排查过程中由于原因不常见,所以排查出现了一定的难度,在完成流量统计后,基本可以确定报文不是丢弃在防火墙上,但是需要进一步定位故障原因,还需要结合现网的其他设备进行分析。

END