18500存储主机性能慢问题定位分析

发布时间:  2016-12-21 浏览次数:  120 下载次数:  0
问题描述

上层业务慢,在Vmware上看到存储时延高,通过dd测试性能表现有时快,有时慢,存储是FC-SAN双交换8GB端口组网。

告警信息

无。

处理过程

1、通过dd命令检查读操作,发现带宽是时高时低;

2、通过存储监控LUN的读写IO,发现业务所在数据库的LUN 1.5Gb的写操作,4条存储链路中,其中一条存储链路带宽占满,另外3条链路IO很小,怀疑多路径策略配置有问题,影响其它业务性能。

3、根据现场环境业务是低峰时段,理论上不应该有这么大的数据写入,怀疑与上层应用有关。

4、进一步排查和了解,由于上层业务做了版本变更后,性能出现问题的.

根因
1、Multipath多路径未使用均衡策略,且路径本身不均衡,导致主机到存储间只使用两个端口,且其中一个端口压力到达瓶颈;
2、 主机业务性能异常前,业务侧做过版本变更,导致上层主机内部向存储下发1800MB /s的读操作。
解决方案

1调整路径均衡/etc/multipath.conf四个端口均衡承载业务,平均约400-500MB/s

2Oracle主机业务软件版本进行回滚。

END