iManager NetEco 6000服务器CPU使用率过高

发布时间:  2015-12-04 浏览次数:  538 下载次数:  0
问题描述

某项目客户反馈登陆到iManager NetEco 6000服务器发现服务器CPU使用率过高达到了100%(如下图1)

导致系统一起在加载,登陆NetEco进去很慢(如图2)





告警信息

无告警

处理过程

1、使用putty工具登录到NetEco服务器,输入服务器的IP地址,点击OPEN

2、使用服务器的用户名:root,密码:Changeme_123(默认密码)登陆服务器

3、执行top命令(此图为演练图,现场故障实际图为第二张):

主要观察下面几个参数


CPU(s):总的CPU占用情况,如果超过90%,请继续观察是否会回落。如果长时间(2个小时)超过90%,则需要反馈到维护工程师确认。正常情况下,在凌晨0点到3点之间,会进行报表的汇总,这段时间CPU可能会超过,其他时间段都不应该长时间超过。从客户的CPU(S)可以看出是总的CPU占用为12.6%,为正常情况。


Mem和Swap两行的信息,主要观察total、free;如果Mem、Swap的free剩下不到10%,NetEco就会比正常的慢很多。客户现场的Mem和Swap为正常情况,剩余很多。



%CPU:下面信息是每个进程占用CPU内存的情况,通过这个地方可以看出整个系统的内存,进程占用情况。从客户某个进程可以看出104492这个进程已达到100%的占用率。



4、遇到此种某个进程CPU忽然增大到100%的情况下可以通过重启服务的方式来解决:

安全重启NetEco服务。

a.在命令终端执行如下命令,切换至ossuser用户。
# su ossuser


b.执行如下命令,进入“/opt/neteco/bin”目录。
> cd /opt/neteco/bin


c.执行如下命令,必须先停止NetEco服务。
> ./shutdown.sh

d.若回显以下信息,说明NetEco服务已停止,则执行步骤d。
The system is stopped.


e.超过3分钟没有返回任何回显信息,请执行如下命令停止NetEco服务。
> exit
# pid=`ps -ef | grep java | grep neteco | grep -v grep | awk '{print $2}'`
# kill -9 $pid
NetEco服务停止后,执行如下命令后,再执行步骤d。
# su ossuser
> cd /opt/neteco/bin


d.最后执行如下命令,启动NetEco服务。
> ./startup.sh
启动NetEco需要5分钟左右,请耐心等待。


如果屏幕回显以下信息,说明NetEco服务已正常启动。
System start completely

 

根因
CPU长时间在高位运行,NetEco系统会出现繁忙情况,进而会导致一些业务无法正常运行,进而导致某些程序在某些时间段CPU使用率忽然增大。
解决方案

遇到此种某个进程CPU忽然增大到100%的情况下可以通过重启服务的方式来解决

END