S2326TP-EI由于路由环路导致CPU过高典型案例一例

发布时间:  2014-09-12 浏览次数:  1020 下载次数:  34
问题描述
S2326TP-EI 新上电,只有一个上行口接入(e0/0/19),其他接口都是down的,CPU 99%,如下:

Jan  1 2008 00:02:34-05:13 dyjs %%01VOSCPU/4/CPU_USAGE_HIGH(l)[4]:The CPU is overloaded, and the tasks with top three CPU occupancy are SOCK(30%), bcmRX(27%), bcmDPC(13%). (CpuUsage=100%, Threshold=95%)

组网: S2326(e0/0/19)-------C设备---外网 (注:S2326只有一个上行口接入(e0/0/19)C设备,其他接口都关闭)



告警信息
Jan  1 2008 00:02:34-05:13 dyjs %%01VOSCPU/4/CPU_USAGE_HIGH(l)[4]:The CPU is overloaded, and the tasks with top three CPU occupancy are SOCK(30%), bcmRX(27%), bcmDPC(13%). (CpuUsage=100%, Threshold=95%)

处理过程
S23只有一个接口上行,其他接口都是DOWN的,所以重点怀疑上层有可能有环路。

1、查看e0/0/19无二层环路,流量也很小。
[dyjs-Ethernet0/0/19]disp loopback-detect
Ethernet0/0/19           653         -              trap      NORMAL

Ethernet0/0/19              up    up       0.12%  0.11%          0          0

2、通过抓取上送CPU的报文确认,是有路由环路。(抓包见附件)

[dyjs-hidecmd]cpu cache  packet receive
[dyjs-hidecmd]display cpu cache

dyjs-hidecmd]dis cpu cache receive

---------------------------------------------------
Port   : Ethernet0/0/19          Vlan ID : 9
Date   : 2008/01/01             Time : 00:37:35
DMAC   : 80fb-06bb-508e
SMAC   : 0015-c755-0000
length : 66
DATA   :
80 fb 06 bb 50 8e 00 15 c7 55 00 00 81 00 00 09
08 00 45 00 00 30 1c 90 40 00 73 06 eb 07 ac 10
fc 0a ac 10 ac 04 88 fa 00 50 35 14 14 e4 00 00
00 00 70 02 ff ff af ac 00 00 02 04 05 b4 01 01
04 02

---------------------------------------------------
Port   : Ethernet0/0/19          Vlan ID : 9
Date   : 2008/01/01             Time : 00:37:35
DMAC   : 80fb-06bb-508e
SMAC   : 0015-c755-0000
length : 66
DATA   :
80 fb 06 bb 50 8e 00 15 c7 55 00 00 81 00 00 09
08 00 45 00 00 30 1c 92 40 00 73 06 eb 05 ac 10
fc 0a ac 10 ac 04 88 fe 00 50 6d 98 61 4a 00 00
00 00 70 02 ff ff 2a be 00 00 02 04 05 b4 01 01
04 02

翻译过来是:源172.16.252.10 到目的172.16.172.4的报文一直有上送CPU产生环路。
由于S23交换机上没有到达目的172.16.172.4的明细报文,只能匹配默认路由送了出去,从而造成了S23的软转发现象,大量占用了CPU。

3、排查环路。

S23上层连接C设备,在C设备上查看到达172.16.172.4的路由,发现是有一条目的网段是172.16.172.4的静态路由指向了S23,由于S23交换机上没有到达目的172.16.172.4的明细报文,只能匹配默认路由送了出去,造成环路。

Cisco6506E#show ip route 172.16.172.4
Routing entry for 172.16.172.0/22
  Known via "static", distance 1, metric 0
  Redistributing via ospf 100
  Advertised by ospf 100 subnets
  Routing Descriptor Blocks:
  * 172.16.0.106
      Route metric is 0, traffic share count is 1


4、删除C设备上的此条冗余静态路由设置,问题解决。
根因
 1、怀疑外网有攻击导致。
2、怀疑有二层环路或者路由环路。
3、设备问题。
 
建议与总结

END