视频监控存储V1300N录像业务出现中断故障

发布时间:  2014-12-29 浏览次数:  338 下载次数:  4
问题描述
XX监狱视频监控局点在系统运行过程中,发现存储服务器中的监控录像存在丢帧的问题。经过统计,部分摄像头存在2S左右的录像中断,小部分摄像头存在10S以上的录像中断,且在出现录像中断时,大部分是已接入交换机为单位在同一时间点出现。
处理过程
      视频从采集到存储,需要经过三个部分:摄像机、网络、存储服务器。如果录像出现中断,只可能在这三个部分中的某一个环节出现问题。
      由于摄像机几乎无任何运行日志,所以从摄像机这个数据源来分析已经不可能,只能通过对网络和存储服务器的抓包来界定问题所在。
      测试一:选取了四个镜头,在每层交换机上针对这四个镜头都进行了镜像抓包,同时在存储服务器上也分别对这四个镜头的数据进行了抓包,等待录像中断问题复现。经过三天的等待,其中的一个摄像机出现2秒的录像中断,抓取到的录像如下图(8)和图(9)所示:

                     图(8) 丢帧视频1

                      图(9) 丢帧视频2
         如上图所示,通过存储服务器回看录像,发现录像在08:52:44中断,08:52:46恢复。同步查看存储服务器的网卡抓包,发现在同一时间点,抓包数据也出现了中断,如下图(10)和图(11)所示:
                   
                    图(10) 抓包数据1
                     
                            图(11) 抓包数据2
        从抓包可见,从摄像机(172.16.21.242)发给存储服务器(172.1.1.11)的数据包,在录像中断的同一时间点也中断了两秒,说明视频流数据发到存储网卡的时候就已经丢失,由此可以证明录像的丢失与存储服务器无关。由于采集交换机镜像数据的PC机在长时间抓包后宕掉,所以并没有同步采集到交换机上的抓包数据。
        测试二,集成商的同事协调到了一台宇视的存储,以ONVIF的对接方式将一批摄像机同步注册了上去,发现摄像机在宇视存储上上线开启录像的同时,我司存储上的这批摄像机部分出现录像中断,因此怀疑当对摄像机再次申请新码流的时候,摄像机会概率性出现数据流中断的问题。局点的摄像机不只向我司存储发流,也同时向电视墙、上级监控XX平台发流,如果摄像机的并发性能不稳定,很可能在路数比较多的情况下,由于新码流的申请而导致摄像机暂时的发流不稳或是暂时发不出流。集成商针对一些摄像机进行了增加码流路数申请的测试,测试过程中摄像头出现两次断流的问题,直到取消掉一路申请才恢复。从这些测试可以看出摄像机发流不稳定,会概率性出现数据丢失。
        测试三,集成商的同事发现挂在存储服务器下的摄像机,在已经开启存储录像的情况下,用一台PC机开启摄像机的实况画面,再用另一台PC机再次开始该摄像头的实况画面时,录像会出现中断,且前一台PC机实况预览同步出现画面卡顿后时间出现跳秒的现象。
为了彻底搞清楚是网络丢弃了数据还是摄像机丢弃了数据,我们再次针对某一摄像机进行了抓包,抓取接入交换机进口的数据包(即数据在进入到网络之前是什么样子的),如果在PC机中出现实况中断的同时,进入接入交换机的数据包中也同步出现了数据丢失,说明数据在进入网络之前就已经丢失了。该测试是与摄像机厂家的工程师一起做的,用PC机打开该摄像头的两路实况后,实况出现了卡顿跳秒(15:58:22秒到15:58:26秒),查询录像也出现了同步的中断(中断录像超过10秒,因为流中断超过了3秒)。通过分析接入交换机抓包,发现在同一时间点也出现4秒的数据中断。
       
                                                                 图(12) 抓包数据3
       
                                                                图(13) 抓包数据4

                      图(14) 抓包录像结果
         如上图所示,图(12)红框标示出的是从摄像机发给服务器的包,时间点为15:58:22,下一个数据包是图(13)所示的15:58:26秒,中间中断了4秒,而从存储服务器如图(14)可同步观察到在15:58:22秒出现录像中断,即数据在进入网络之前就已经丢失。从这个测试可以断定,交换机并没有丢包,录像中断是摄像机发包中断导致。
根因
        通过以上几个针对性的测试,可以断定XX监狱录像中断问题与华为存储和交换机无关,至于是否是因为摄像机性能不足导致的概率性数据流中断需要摄像机厂家从摄像机内部实现机制上进行深入分析
解决方案
       和客户、集成商、第三方摄像头厂家确认问题由摄像头厂家解决,录像丢帧问题和华为交换机、视频监控存储无关。
建议与总结
 

END