me60路由器slot1槽位单板利用率超高

发布时间:  2015-12-12 浏览次数:  137 下载次数:  0
问题描述

1、ME60-X8路由器slot1槽位业务存在很严重的丢包,通过查看单板cpu,该板cpu利用率超高,达99%

<ME60A>display cpu-usage slot 1
CPU Usage Stat. Cycle: 60 (Second)
CPU Usage            : 99% Max: 99%
CPU Usage Stat. Time : 2015-08-12  20:30:10
CPU utilization for five seconds: 99%: one minute: 99%: five minutes: 99%
Max CPU Usage Stat. Time : 2015-01-29 02:14:38.

TaskName    CPU  Runtime(CPU Tick High/Tick Low)  Task Explanation
BOX          0%              0/  26c4fa           BOX Output
DelPtTask    0%              0/       0
CrtPtTask    0%              0/       0

告警信息
Aug 12 2015 20:32:07 ME60A %%01VOSCPU/4/CPU_USAGE_HIGH(l)[10]:Slot=1;The CPU is overloaded(CpuUsage=99%, Threshold=80%), and the tasks with top three CPU occupancy are:
处理过程

怀疑设备受到攻击,检查该slot1槽位接口流量超高,查看攻击源信息如下:

<ME60A>display attack-source-trace slot 1 brief
Info: Please waiting......
Slot: 1
  Attack-source-trace Capacity:1M
  No.1 Packet Info:
  Interface Name   : GigabitEthernet1/1/0
  PeVlanid         : 509
  CeVlanid         : 2746
  Attack Type      : CPCAR
  Source Ip        : 169.254.112.35
  Dest Ip          : 232.xxx.xxx.9 
  Source Port      : 2026
  Dest Port        : 1900
  Protocol Num     : 17
  Attack Pack Time : 2015-08-12 20:38:54

  Attack Trace Data:
     01 00 5e 7f ff fa 08 60 6e d4 d4 57 81 00 01 fd 81 00 0a ba 08 00 45 00 01
     e1 71 4b 00 00 04 11 39 a5 a9 fe 70 23 ef ff ff fa 07 ea 07 6c 01 cd 24 4b
     4e 4f 54 49 46 59 20 2a 20 48 54 54 50 2f
  ----------------------------------
  No.2 Packet Info:
  Interface Name   : Eth-Trunk1.26
  PeVlanid         : 3030
  CeVlanid         : 2802
  Attack Type      : CPCAR
  Source Ip        : 192.168.1.84
  Dest Ip          : 232.xxx.xxx.9 
  Source Port      : 1137
  Dest Port        : 3650 
  Protocol Num     : 17
  Attack Pack Time : 2015-08-12 20:38:53

  Attack Trace Data:
     ff ff ff ff ff ff b8 97 5a a3 ce d0 81 00 0b d6 81 00 2a f2 08 00 45 00 00
     4e 00 d5 00 00 40 11 f5 26 c0 a8 01 54 c0 a8 01 ff 00 89 00 89 00 3a 30 95
     ae b0 01 10 00 01 00 00 00 00 00 00 20 46

攻击流量成存在大量的到同一个目的地址232.xxx.xxx.9的攻击包,经确认每秒有一万多个这样的攻击数据包。这也是导致slot1槽位cpu利用率高的根本原因。

根因

在ME60里使用命令确认该IP地址是否为本机接口地址display current-configuration | include 232.xxx.xxx.9

ip address 232.xxx.xxx.9 255.255.255.255   的确存在这个地址

经确认该地址为interface loopback10上的地址。与客户确认该地址的作用,客户答复:这个地址是当天做测试时候临时加上去的IP地址。

后来经客户最终确认,该地址为客户内网一台服务器IP地址。

问题根因:因为ME60上的loopback 10的接口地址为32位,根据路由的最长匹配优先原则,放过该服务器的数据包都发现了该台ME60,导致ME60的slot1槽位cpu利用率超高。

解决方案
删除interface loopback10测试接口,me60的slot1槽位cpu利用率恢复正常,客户业务也恢复正常。
建议与总结

1、在现网上做任何操作,添加任何数据都要再三确认路由、地址是否冲突,不能随意为之。

2、排查类似故障,需要思路清晰,抓住引起问题的根因。

END