OTN网络故障导致PTN时钟不能正常同步,PTN下挂2G基站频繁出现频繁闪断

发布时间:  2013-01-18 浏览次数:  68 下载次数:  0
问题描述
PTN3900下挂2G基站频繁出现频繁闪断。



处理过程
1、PTN业务配置有误;
2、PTN时钟不能正常同步;






根因

OTN设备故障导致PTN时钟不同步。

解决方案
与现场人员交流确认产生业务中断的这些网均无硬件类异常告警。涉及到的网元ID为:1104、1103、830、836、1102、1100。
一、对该区域网元进行排查,依据经验对于这种无硬件故障几个小时闪断一次的问题,绝大部分为时钟问题。重点排查网络的时钟配置,发现部分网元没有使能SSM同步协议。 依据经验直接就排查了SSM协议问题。使能相关网元SSM同步协议,进行观察16小时后再次出现业务闪断现象。
二、再次排查时钟,发现网元40有时钟切换失败告警CLK_LOCK_FAIL、LTI  ,但下游网元是没有时钟类告警。
使用命令行查看::alm-get-hisdata-ext:0,0,0
:alm-get-hisdata-ext:0,0,0
119877      CLK_LOCK_FAIL         MJ          end         2012-10-10 11:50:50      2012-10-10 11:50:52      NSA     sysclock                           ;;                                                                                            
  119879      CLK_LOCK_FAIL         MJ          end         2012-10-10 11:51:19      2012-10-10 11:51:22      NSA     sysclock                          
  119875      S1_SYN_CHANGE         MJ          end         2012-10-10 11:50:31      2012-10-10 11:51:31      NSA     sysclock                           ;01 ;       
  119881      CLK_LOCK_FAIL         MJ          end         2012-10-10 11:52:00      2012-10-10 11:52:02      NSA     sysclock                           ;;                        
  119878      LTI                   MJ          end         2012-10-10 11:51:13      2012-10-10 11:52:07      NSA     sysclock                           ;01 ;  
同时结合PTN的log信息如下:   :log-query:BD,”PTN_STG.log”      :log-query:BD,”BB0.log” 
                      
2012/10/10 16:27:25时钟源由0xbff0001切换到0xf10001。时钟源丢失切换到内部源。
 2012-10-12 16:27:25 StgSelect.cpp:1490:CStgSelect::SourceSelect:ClassTable[0] select source change from Oxbff0001 to Oxf10001 cause
2012-10-12 16:27:25 StgSelect.cpp:2948:CStgSelect::ctrlLuBoards16yteoutpur a_abyLUSends1[6][0][0] set *[b]:
2012/10/10 16:27:25时钟源由0xf10001切换到0xbff0001。时钟源恢复由内部源切换到上游时钟源SLOT:11 PORT:1。
2012-10-12 16:27:25 StgSelect.cpp:1490:CStgSelect::SourceSelect:ClassTable[0] select source change from Oxf10001 to 0xbff0001 cause
2012-10-12 16:27:25 StgSelect.cpp:2948:CStgSelect::ctrlLuBoards16yteoutpur a_abyLUSends1[6][0][0] set *[b]:

切换时钟源,跟踪上游时钟源。在设置成功后未发现时钟源有切换现象,进行长期观察。第二天报告仍然有两次闪断,且几乎是同时中断。
三、继续进行问题定位,在1100~1103间建一条CES测试业务进行PRBS测试。




进行25小时测试,业务正常无误码。由此可以断定问题点在该区域外部,不在该区域内部。
 
1103~18网元间有业务中断情况。


结合PTN的log信息如下:   :log-query:BD,”PTN_STG.log”      :log-query:BD,”BB0.log” 


2012-10-16 01:58:22 StgSelect.cpp:1490:CStgSelect::SourceSelect:ClassTable[0] select source change from Ox7ff0001 to 0xf10001 cause
2012-10-16 01:58:22 StgSelect.cpp:2948:CStgSelect::ctrlLuBoards16yteoutpur a_abyLUSendS1[6][0][0] set *[b]

经过与一线交流,OTN在做倒换操作,此段时间定位已无意义
重新开始进行问题定位。
10月17号与客户沟通确认OTN网络已修改完成。把时钟全部切回到网元40的11#1,进行观察,19号与客户确认,再未出现闪断现象。
问题解决。





建议与总结
PTN时钟不能正常同步,可能会引起下挂业务的中断,需查看时钟跟踪情况。





END