新疆电力95598每天产一个系统信息文件导致磁盘空间不足

发布时间:  2014-05-13 浏览次数:  145 下载次数:  0
问题描述
新疆电力95598文件服务器/var磁盘使用率较高,且一周后发现磁盘使用还在提高。
告警信息
处理过程
1、进入/var目录逐个对每个文件大小进行检查,发现/var/log/atop占用空间比较大;
2、检查发现有一个atop进程会向/var/log/atop/目录中写文件
dbfs1:/usr/bin # ps -ef|grep atop 
root      19863      1  1 00:00 ?        00:17:31 /usr/bin/atop -a -w /var/log/atop/atop_20140429 10
man      103188  88715  0 17:47 pts/0    00:00:00 man atop
root     108025  88715  0 18:01 pts/0    00:00:00 grep atop
atop就是一款用于监控Linux系统资源与进程的工具,它以一定的频率记录系统的运行状态,所采集的数据包含系统资源(CPU、内存、磁盘和网络)使用情况和进程运行情况,并能以日志文件的方式保存在磁盘中,服务器出现问题后,我们可获取相应的atop日志文件进行分析。
每天保存一个atop日志文件,该日志文件记录当天信息,系统会在/var/log/atop目录下记录atop日志文件,日志文件以"atop_YYYYMMDD"的方式命名。
3、修改/etc/atop/atop.daily脚本,可以通过修改INTERVAL变量改变atop信息采样周期(默认为10分钟);通过修改以下命令中的数值改变日志保存天数(默认为3天):
CURDAY=`date +%Y%m%d`
LOGPATH=/var/log/atop
BINPATH=/usr/bin
PIDFILE=/var/run/atop.pid
INTERVAL=10           
# verify if atop still runs for daily logging
#
if [ -e $PIDFILE ] && ps -p `cat $PIDFILE` | grep 'atop$' > /dev/null
then
        kill -USR1 `cat $PIDFILE`       # take final sample
        sleep 3
        kill -TERM `cat $PIDFILE`
        rm $PIDFILE
        sleep 1
fi
# start atop for all processes with interval of 10 minutes
#
$BINPATH/atop -a -w $LOGPATH/atop_$CURDAY $INTERVAL > $LOGPATH/daily.log 2>&1 &
echo $! > $PIDFILE

# delete logfiles older than four weeks
#
(sleep 3; find $LOGPATH -name 'atop_*' -mtime +15 -exec rm {} \; )&   修改为15,即保存15天,15后删除
4、编辑该用户的计时器设置,每天凌晨执行atop.daily脚本,即将采集的数据包含系统资源保存15天,15天后进行删除,防止系统磁盘空间使用率过高,对平台造成影响。
dbfs1:/usr/bin # crontab -e   
SHELL=/bin/bash
PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
* * * * *  sntp -P no -r 10.219.100.19 && /sbin/hwclock -w
0 0 * * *  /etc/atop/atop.daily 
根因
1、系统每天产生文件导致磁盘使用率过高。
建议与总结

END