FusionStorage告警提示主机存储负载超阀值处理办法

发布时间:  2015-12-30 浏览次数:  271 下载次数:  0
问题描述

FusionStorage告警提示主机存储负载超阀值。

告警信息

FusionStorage告警提示存储负载超阀值,告警对象FS_VBS

mmexport1443509001471.jpg

处理过程
 

1、 通过告警详细信息中的附加信息IP地址,确定告警源主机为10.104.1.48

2、 根据告警详细信息产生时间2015-09-29 05:33:52,获取主机05时段日志,路径/var/log/主机名/05

3、 获取主机配置文件:/opt/dsware/vbs/conf/vbs_10.104.1.48_conf.cfg

4、 解压05时段日志文件,根据告警时间,确定打开哪个日志文件,在05/log2/var/log/dsware目录下打开isotat.log.2015-09-29_05-38-43_773313720文件,告警产生时间05:33分,找到该时刻rkB/s值比较大的dm设备

无标题.png

从图中可以看出,dm-11dm-1605:33:34时刻rkB/s值过大。

5、 ssh登陆告警主机10.104.1.48 输入ll /dev/mapper/,找到dm-11dm-16所在行,并记录相对应的69540FD0638E4CD8B1FBC8BD39B8B75B-user9B84F52F9F6E4F6496391D6707FE81E1-user值。

6、 在主机侧10.104.1.48输入xl list,显示所有虚拟机信息

7、 输入virsh dumpxml 虚拟机ID |grep 69540FD0638E4CD8B1FBC8BD39B8B75B-user

virsh dumpxml 虚拟机ID |grep 9B84F52F9F6E4F6496391D6707FE81E1-user,虚拟机ID70开始,逐次匹配,当有输出结果时即可确定虚拟机。

通过匹配,虚拟机ID 7889即为产生大量IO的虚拟机

8、 再次输入xl list,通过ID号找到虚拟机Namei-00000319i-000005BE

9、 登陆FC,在虚拟机列表搜索条件选择“虚拟机ID”,输入i-00000319i-000005BE,即可找到对应虚拟机

根因

每台主机限制的最大IOPS7000,告警主机上有虚拟机的数据盘IOPS过大,导致达到主机IOPS阀值告警。

解决方案

   查找到IOPS占用高虚拟机后,登陆虚拟机,检查虚拟机上部署的应用,发现该虚拟机部署的有数据库定时归档备份任务。该任务取消后,告警自动恢复。

建议与总结

当遇到主机IOPS负载高的告警时候,需要清楚当前主机上承载的多少虚拟机,每台虚拟机上承载的哪些业务。通过对虚拟机密度和虚拟机上承载的业务可以分析IOPS过高的原因。

END