CE12808黑洞路由策略配置问题导致VOD网络中VSS压力测试失败

发布时间:  2014-09-11 浏览次数:  337 下载次数:  0
问题描述
现象描述:某VOD网络系统中,进行VSS服务器和CE12808的压力测试时,当并发用户数达到2600个时,也就是流量达到2600X3.75M≈10G时,用户的视频点播业务无法正常进行,出现马赛克现象,而且画面会卡住。
版本:CE12808 V100R001C01
组网介绍: 
     CDN-VG1各有两个接口与CE12800和S5800直连(总带宽为40G),VSS以20G的带宽与CE12808互联,CE12808以10G的带宽与S5800互联。VSS-A以TCP形式与CDN-VG1的四个分发接口建立拉流会话(如绿线所示),CDN-VG1回应以UDP形式的视频数据流(如红线所示),VSS-A获取到视频流后,再将视频流推给位于城域网的用户,用户便可以正常播放视频。
     压力测试需要在VSS模拟拉流会话(2600),VSS从CDN拉流后,将节目流推送到CE12808,CE12808上通过黑洞路由将节目流丢弃;然后在城域网中正常点播节目,测试节目是否正常。
告警信息
处理过程
1、检查VSS服务器与CE12808对接端口的运行状态,链路聚合协商正常,带宽使用率仅有50%,直连互ping无丢包现象,排除VSS与CE12808的对接问题。
2、 检查CE12808与S5800互联端口的运行状态,发现流量超过链路带宽,说明VSS的测试流量错误地从CE12808转发到S5800上。
3、检查压力测试配置:压力测试需要在两台设备上配置同一条静态路由,目的IP地址为X.X.X.221(VSS推流的目的地址),下一跳为空的黑洞路由,使得VSS-A及VSS-B的测试流量能够在设备上被直接终结,如下:ip route-static X.X.X.221 255.255.255.255 NULL0。
 根据设备上所配置的策略路由,这条静态路由会命中ACL 2001中的rule 30,于是这条路由将会被引入ISIS路由中,并相互发布给对方:

确认为黑洞路由被错误的发布到对端,导致测试流量被引入到互联链路上,互联链路备堵塞。

4、确认何种报文丢失导致压力测试失败:在8/0/1口能够抓到VSS-A往CDN-VG1的TCP会话报文,说明VSS和CDN的通信是通过TCP会话建立的。

   当测试流量达到10GE时,互联链路备堵塞,造成TCP大量丢包,从而导致VSS-A无法从CDN-VG1的其中两个接口(如叉号所以)获取到足够的视频数据流并推给位于城域网的用户,所以会造成用户视频卡住、中断。

将路由策略中黑洞路由的地址段从acl中删除后,点播恢复正常,达到预期压力测试目标。

根因
1、VSS拉流服务器与CE12808的对接存在问题,导致链路阻塞
2、 压力测试配置问题
3、 设备转发性能或缓存问题
建议与总结
1、 对于CE12808和VSS的压力测试场景,一定要对流量走向有清晰的了解。
2、 黑洞路由的配置和路由策略配置一定要谨慎,不该引入的路由千万不要乱引。

END