USG3030因内部服务器中病毒造成异常连接导致设备CPU使用率100%解决案例

发布时间:  2012-07-23 浏览次数:  238 下载次数:  0
问题描述
USG3030放在IDC机房,下挂了多台业务服务器(均是公网IP),之前外网访问服务器一直正常。最近发现外网用户访问服务器很慢,通过排查发现USG3030的CPU达到将近100%。
告警信息
处理过程

1、通过登录设备,发现CPU使用率100%,在隐藏模式下,看到IPFF使用率为96%,由此推断是设备转发数据消耗设备性能;

2、通过会话表,看到外网有大量连接内部某服务器的10888端口的http会话,怀疑是有网络攻击,但是与客户确认,这是服务器的一个业务端口,大量连接时正常的,并且关掉该服务器,CPU依然没有下降,排除针对10888端口的网络攻击可能;

3、通过在防火墙接口上进行抓包,发现大量UDP报文,内部一服务器和公网一IP互相发UDP报文,与客户确认,连接的服务器端口为非业务端口,而且服务器连接外网IP的基本为同一个端口9999;

4、关闭该服务器,发现CPU立刻下降下来,经过一段时间的观察,CPU基本维持在10%;

5、再排查该服务器,发现中了网络病毒,由此确定,问题出在内部服务器中病毒导致大量非连接,消耗设备性能,导致CPU使用100%;

根因

因为内网服务器中病毒,和外网一IP互相发大量的UDP连接,消耗设备大量资源,导致CPU使用率非常高,设备转发性能大大降低。
建议与总结
设备CPU使用率高,一般可以通过在隐藏模式下查看具体是什么进程使用高,然后进一步有针对性的排查问题。

END