某网省中心至部分市局MSTP电路丢包故障

发布时间:  2014-06-29 浏览次数:  444 下载次数:  0
问题描述
       某客户省中心 OSN7500与十个市局metro3000采用星型组网,中间通道租用运营商网络带宽,其中6个市局为2.5G带宽,4个市局为155M带宽,客户报155M上联带宽的4个市局丢包严重。
告警信息
处理过程
       1、查看用户业务:10个市局的以太网业务汇聚至省中心的EMS4板的同一个光口,该光口与用户交换机对接,交换机分出若干电口,用该交换机的其中一个电口接电脑与市局进行ping操作。无丢包的6个市局配置的带宽为20M,丢包的4个市局配置的带宽为4M。
        2、检查线路和支路误码:检查有丢包的其中一市局的Metro3000 告警,网元无告警,查询155M上联光口板的SDH性能,结果为无误码,查询EFT板SDH性能,无误码。误码导致丢包可能性排除。
        3、检查流量:查询市局Metro3000 EFT板对应端口的RMON性能,查看实时流量,发现事件“发送的好包字节(字节/秒)”该项值为480000上下波动,480000单位是“Byte/秒”,乘以8换算成“bit/s”,除以1024得到“kbit/s”,再除以1024得到“Mbit/s”,经过换算为3.7M/s,接近满带宽4Mb/s状态,该事件的含义是省厅发往市局的流量。状态告之用户,带宽被占满,所以ping可能会丢包。至此,判断出传输无问题,用户不认可,因为在市局侧,用户尝试过拔下交换机,只接一台电脑进传输EFT板以太网口,省厅ping去该市都是丢包,所以不认同流量被占满导致丢包。让用户再重现一下这个过程,市局侧在接单机时,省中心ping过去确实丢包,查看市局侧端口流量,带宽仍是占满状态,据此判断,客户内网出现病毒或者环路的可能性较大。
         4、业务配置法验证:临时在网管上从该市局做了一条专线业务到省中心OSN7500的其他槽位的EFS板百兆电口,线路上还是捆绑原来的两条VC12时隙,市局侧EFT端口不变,在省厅侧EFS板直接接一台电脑与市局互ping,此时已隔离了用户的交换机,数据不经交换机,ping完全正常,不丢包,证明了传输线路没问题,问题出在用户内网上。
         5、用户自己检查问题:恢复原数据配置,让用户自己检查内网。用户在省厅侧的交换机上,逐条拔网线,拔掉其中一条时,发现ping该地市马上恢复正常,无丢包,时延从300ms降为9ms,此时查看传输端口流量,流量在500KB至1M之间波动,属正常。其它原未出现丢包的6个市局的流量也大幅下降。问题解决。
根因
       初步主要怀疑以下四个方面:
 1、可能是报丢的4个市局租用的带宽线路同路由,运营商线路有误码;
 2、用户内网有病毒或者环路广播。
 3、用户实际流量较大,占满所开MSTP的电路带宽导致拥塞。
 4、用户说以前无问题,未修改过配置,所以在端口参数、业务配置方面出问题的可能性较小。
 
建议与总结
        以太网电路,除了承载实时视频业务,正常情况下端口流量会随实际使用情况出现高低不断变化,如果端口流量一直处于满负荷状态,一方面要怀疑客户的带宽确实无法满足需求,导致拥塞,这种情况下需要提速解决,另一方面要怀疑用户内网出了病毒或环路引起的异常广播占据了大量带宽。

END