S9300 用户频繁登陆导致cpu过载告警问题

发布时间:  2016-06-20 浏览次数:  109 下载次数:  0
问题描述
反馈网络中大量S9300设备上CPU高,业务未感知影响

 

告警信息
May 17 2016 13:39:48+08:00  %%01VOSCPU/4/CPU_USAGE_HIGH(l)[12961]:The CPU is overloaded, and the tasks with top three CPU occupancy are VTYD(39%), SOCK(7%), FTS(7%). (CpuUsage=80%, Threshold=80%)
处理过程
步骤 1 分析日志信息发现CPU使用率前三的任务为VTYD/SOCK/FTS,FTS和SOCK为收发报文的任务,VTYD任务用于处理所有用户登录,这三个任务高怀疑存在用户频繁登陆。
May 17 2016 13:39:48+08:00  %%01VOSCPU/4/CPU_USAGE_HIGH(l)[12961]:The CPU is overloaded, and the tasks with top three CPU occupancy are VTYD(39%), SOCK(7%), FTS(7%). (CpuUsage=80%, Threshold=80%)


步骤 2 日志中在异常发生期间存在SSH报文超过CP-car的丢弃,可以判断是由于接受到较多的SSH报文,初步分析是由于SSH用户频繁登陆导致的CPU高。
May 17 2016 13:47:19+08:00 BJNL021_OU_AS_01 %%01DEFD/6/CPCAR_DROP_MPU(l)[13086]:Some packets are dropped by cpcar on the MPU. (Protocol=ssh, Drop-Count=01)
BJNL021_OU_AS_01 %%01DEFD/6/CPCAR_DROP_LPU(l)[13088]:Some packets are dropped by cpcar on the LPU in slot 12. (Protocol=ssh, Drop-Count=0109)

步骤 3 分析日志发现在异常发生期间,IP为10.229.72.88的用户一直尝试使用SSH登陆,建议排查该IP设备。
May 17 2016 13:36:57+08:00 BJNL021_OU_AS_01 %%01SSH/4/SSH_FAIL(l)[12691]:Failed to log in through SSH. (Ip=10.xx.xx.88, UserName=Fortimanager_Access, Times=1).
May 17 2016 13:37:28+08:00 BJNL021_OU_AS_01 %%01SSH/4/SSH_FAIL(l)[12741]:Failed to log in through SSH. (Ip=10.xx.xx.88, UserName=Fortimanager_Access, Times=1).
May 17 2016 13:37:37+08:00 BJNL021_OU_AS_01 %%01SSH/4/SSH_FAIL(l)[12752]:Failed to log in through SSH. (Ip=10.xx.xx.88, UserName=support, Times=1).
May 17 2016 13:37:51+08:00 BJNL021_OU_AS_01 %%01SSH/4/SSH_FAIL(l)[12768]:Failed to log in through SSH. (Ip=10.xx.xx.88, UserName=support, Times=1).

 

根因
设备收到大量SSH登陆报文导致CPU高
解决方案

1) 排查网络中发送大量SSH登陆报文的设备。
2) 建议配置基于ACL的访问限制,只允许固定的用户访问设备。

通过排查,找到网络中发送大量SSH登陆报文的设备10.xx.xx.88,是一台扫描漏洞设备,会频繁尝试登陆设备,后关闭该设备频繁登陆功能后解决。

END