网元时钟板故障导致MSP倒换失败,业务中断

发布时间:  2012-12-17 浏览次数:  66 下载次数:  0
问题描述

如下图,2个OSN9500和5个3500网元组成MSP环,当网元电信-548和电信-590间光纤断开后,复用段倒换失败,业务发生中断。

处理过程

OSN9500网元主机软件版本:5.15.04.19P01

OSN3500网元主机软件版本:5.21.18.50

550网元误码K字节:

5      486       K_RECEIVED      0xfff8      2011-2-15 12:52:38   0x01f893bd 

5      487       K_DIR           0x0002      2011-2-15 12:52:38   0x01f893c3

570网元误码K字节:

5      1770      K_RECEIVED      0xfff8      2011-2-15 12:55:46   0x00c7a318 

5      1771      K_DIR           0x0002      2011-2-15 12:55:46   0x00c7a31e 

548网元误码K字节:

  1      64728     K_RECEIVED           0xfff8      2011-02-15 20:54:10  0x006010bc 

  1      64729     K_DIR                0x0002      2011-02-15 20:54:10  0x006010c6 

590网元误码K字节:

  1      60810     K_DIR                0x0000      2011-02-15 20:52:22  0x00ece4ab 

  1      60811     K_RECEIVED           0xfff8      2011-02-15 20:52:22  0x00eceaec 

  1      60812     K_DIR                0x0000      2011-02-15 20:52:22  0x00eceaf6 

  1      60813     K_RECEIVED           0xffb8      2011-02-15 20:52:22  0x00f32c86 

  1      60814     K_DIR                0x0000      2011-02-15 20:52:22  0x00f32c91 

  1      60815     K_RECEIVED           0xfff8      2011-02-15 20:52:22  0x00f332cf 

  1      60816     K_DIR                0x0000      2011-02-15 20:52:22  0x00f332da  

547网元误码K字节:

  1      22060     K_RECEIVED           0xfff8      2011-02-15 23:36:59  0x01ee1146 

  1      22061     K_DIR                0x0000      2011-02-15 23:36:59  0x01ee1152 

  1      22062     K_RECEIVED           0xb23a      2011-02-15 23:49:31  0x00aed327 

  1      22063     K_DIR                0x0000      2011-02-15 23:49:31  0x00aed332 

  1      22064     K_RECEIVED           0xfff8      2011-02-15 23:49:35  0x00e957f2 

  1      22065     K_DIR                0x0000      2011-02-15 23:49:35  0x00e957fd 

  1      22066     K_RECEIVED           0xff38      2011-02-15 23:49:35  0x00e95c03 

  1      22067     K_DIR                0x0000      2011-02-15 23:49:35  0x00e95c0e  3

545网元误码K字节:

  1      56735     K_RECEIVED           0xffb8      2011-02-15 23:36:37  0x01ca253b 

  1      56736     K_DIR                0x0000      2011-02-15 23:36:37  0x01ca2546 

  1      56737     XC_EXECUTE           0x0000      2011-02-15 23:36:37  0x01ca2809 

  1      56738     STATE_TRANS          0x0800      2011-02-15 23:36:37  0x01ca2d3d 

  1      56739     K_RECEIVED           0xfff8      2011-02-15 23:36:37  0x01ca2e5c 

  1      56740     K_DIR                0x0000      2011-02-15 23:36:37  0x01ca2e65 

546网元误码K字节:

1      25734     K_RECEIVED           0xffb8      2011-02-15 20:51:22  0x03c4d443 

  1      25735     K_DIR                0x0000      2011-02-15 20:51:22  0x03c4d44d 

  1      25736     K_RECEIVED           0xfff8      2011-02-15 20:51:22  0x03c4d9a0 

  1      25737     K_DIR                0x0000      2011-02-15 20:51:22  0x03c4d9aa 

 

根据全环K字节分析,550、570、548网元东向均有收到0xfff8的误码K字节,546、545、547、590西向均收到0xfff8/0xffb8的误码K字节,如下图所示:

从误码分布和误码产生的起点分析,故障点为550网元东向线路单板23板和546网元西向线路单板8板,同时K字节有关的550网元和546网元产生的开销时钟也是故障可能点。

通过现场更换单板和主备倒换单板操作进行逐一排查:

1、更换了546网元8号线路板后,故障不消失,仍然收到误码K字节。

2、更换了550网元23号线路板后,故障不消失,仍然收到误码K字节。

3、倒换了OSN9500网元550的STG单板后,故障消失,K字节恢复正常。

由此可以证明故障点550网元产生的开销时钟存在问题。
根因
550-9号9500网元时钟板故障,主备倒换时钟板后,MSP倒换恢复正常。
解决方案

紧急恢复措施:

主备倒换时钟板。

彻底解决措施:

       更换故障时钟板。

END