S3700下误接TP-LINK交换机导致监控画面出现蓝屏现象

发布时间:  2016-03-26 浏览次数:  332 下载次数:  13
问题描述

客户在监控网络中私自接了一台TP-LINKTP-LINK频繁的向上游交换机发送TCN BPDU,导致每过一段时间网络监控系统就出现一次蓝屏或者闪断等现象;

S3700版本为:V100R006C05

< BL-1F-SZ-10.17>dis ver

Huawei Versatile Routing Platform Software

VRP (R) software, Version 5.70 (S3700 V100R006C05)

Copyright (C) 2003-2013 HUAWEI TECH CO., LTD

Quidway S3700-28TP-EI-AC Routing Switch uptime is 0 week, 2 days, 2 hours, 55 minutes

 

EOFEA 0(Master) : uptime is 0 week, 2 days, 2 hours, 54 minutes

128M bytes DDR Memory

16M bytes FLASH

Pcb      Version :  VER B

Basic  BOOTROM  Version :  349 Compiled at Mar 15 2013, 11:00:55

Software Version : VRP (R) Software, Version 5.70 (V100R006C05)

1-1组网拓扑

告警信息

监控系统蓝屏、闪断现象截图如下:


处理过程

1、监控系统出现蓝屏或者闪断时,立刻查看网络有无异常告警,结果在核心交换机上发现如下告警信息:

<HX-S12708>dis trapbuffer

#Jan 13 2016 13:22:50 HX-S12708 MSTP/4/TCGUARD:OID 1.3.6.1.4.1.2011.5.25.42.4.2.15 The instance received TC message exceeded the threshold will be deferred to deal with at the end of TC protection time. (InstanceID=0)

2、通过上述信息初步怀疑是网络 STP震荡,然后在核心交换机上查看STP-BPDU统计信息如下:

<HX-S12708>display stp tc-bpdu statistics

 -------------------------- STP TC/TCN information --------------------------

 MSTID Port                        TC(Send/Receive)      TCN(Send/Receive)

 0     XGigabitEthernet1/3/0/0     1006/0                0/0

 0     XGigabitEthernet1/3/0/1     771/0                 0/0

 0     GigabitEthernet1/2/1/1      209/0                 0/0

 0     GigabitEthernet1/2/1/4      218/0                 0/0

 0     GigabitEthernet1/2/1/5      244/0                 0/0

 0     GigabitEthernet1/1/1/1      225/0                 0/0

 0     GigabitEthernet1/1/1/3      212/0                 0/0

 0     GigabitEthernet1/1/1/4      239/0                 0/0

 0     GigabitEthernet1/1/1/5      256/0                 0/0

 0     GigabitEthernet1/1/1/6      218/0                 0/0

 0     GigabitEthernet1/1/1/7      233/0                 0/0

 0     XGigabitEthernet2/3/0/0     985/0                 0/0

 0     XGigabitEthernet2/3/0/1     1022/0                0/0

 0     GigabitEthernet2/1/1/0      225/0                 0/0

 0     GigabitEthernet2/2/1/2      254/0                 0/0

 0     GigabitEthernet2/2/1/3      218/0                 0/0

 0     Eth-Trunk1                  768/4                 0/0

 0     Eth-Trunk2                  799/3                 0/0

 0     Eth-Trunk3                  819/7                 0/0

 0     Eth-Trunk4                  31/661                0/0

 0     Eth-Trunk5                  879/10                0/0

 0     Eth-Trunk6                  907/3                 0/0

 0     Eth-Trunk7                  979/0                 0/0

 

在核心S12708上查看stp拓扑改变,最近一次是10分钟之前,也是从Eth-Trunk4收到的。

<HX-S12708>display stp topology-change

 CIST topology change information

   Number of topology changes             :443

   Time since last topology change        :0 days 0h:10m:18s

   Topology change initiator(notified)    :Eth-Trunk4

   Topology change last received from     :845b-1236-5090

   Number of generated topologychange traps :   96

   Number of suppressed topologychange traps:   59

3、然后登录到核心S12708Eth-Trunk4口下接汇聚交换机<BLSZ-HJ-10.7>上查看stp tc-bpdu统计,GigabitEthernet0/0/2口收到的TC报文最多。

<BLSZ-HJ-10.7>display stp tc-bpdu statistics

 -------------------------- STP TC/TCN information --------------------------

 MSTID Port                        TC(Send/Receive)      TCN(Send/Receive)

 0     GigabitEthernet0/0/1        534/0                 0/0

 0     GigabitEthernet0/0/2        21/324                0/0

 0     GigabitEthernet0/0/3        569/0                 0/0

 0     GigabitEthernet0/0/4        588/0                 0/0

 0     GigabitEthernet0/0/5        607/0                 0/0

 0     Eth-Trunk0                  463/11                0/0

 

然后查看stp拓扑变更,最近一次拓扑改变也是GigabitEthernet0/0/2口。

<BLSZ-HJ-10.7>disp stp topology-change

 CIST topology change information

   Number of topology changes             :385

   Time since last topology change        :0 days 0h:15m:23s

   Topology change initiator(notified)    :GigabitEthernet0/0/2

   Topology change last received from     :845b-1235-3ff0

   Number of generated topologychange traps :   44

   Number of suppressed topologychange traps:   14

4、在汇聚交换机<BLSZ-HJ-10.7>上找到GigabitEthernet0/0/2口下联交换机<BL-1F-SZ-10.17>,在<BL-1F-SZ-10.17>上查看stp tc-bpdu统计,发现Ethernet0/0/8口收到最多的TC报文。

<BL-1F-SZ-10.17>display stp tc-bpdu statistics

 -------------------------- STP TC/TCN information --------------------------

 MSTID Port                        TC(Send/Receive)      TCN(Send/Receive)

 0     Ethernet0/0/8               3362/911              6/256

 0     Ethernet0/0/20              2218/0                0/0

 0     GigabitEthernet0/0/1        1949/267              0/0

 

然后再查看stp拓扑变更,最近一次即是<BL-1F-SZ-10.17>Ethernet0/0/8口。

<BL-1F-SZ-10.17>display stp topology-change

 CIST topology change information

 Number of topology changes             :1435

 Time since last topology change        :0 days 0h:29m:55s

 Topology change initiator(notified)    :Ethernet0/0/8

 Topology change last received from     :0019-e8da-d088

5、查看Ethernet0/0/8口配置,发现是个边缘端口,配置如下:

interface Ethernet0/0/8

 port link-type access

 port default vlan 15

 stp edged-port enable

 

6、询问客户Ethernet0/0/8下接的是什么设备,经过客户确认是他们最近自己私自接的一台TP-LINK交换机,用于其他业务。然后和客户协调关闭该接口观察一段时间,发现关闭接口后一切正常,问题没有复现。

根因

监控网络中私接的一台TP-LINK频繁的向上游交换机发送TCN BPDU,导致每过一段时间网络监控系统就出现一次蓝屏或者闪断等现象

解决方案

1.当网络中出现故障,多分析告警信息,通过display trapbuffer,display logbuffer等。

2.规范网络配置,shutdown没有使用的端口,可以有效避免私接交换机导致的网络故障。

建议与总结

在原有的网络中新接入其它设备应该充分考虑对现网的影响,有的时候多插了一根网线就会导致网络出现环路,导致网络瘫痪。另外,工程师服务完后一些注意事项应该和客户说明。

END