TaiShan 200 2280 nmon工具监测磁盘读写峰值过高

TaiShan 200 2280；共享存储 oceanstore 6800；LSI 3508 raid 卡；600G硬盘*2 raid1；希捷1.2T硬盘*3 raid5；系统下分区sda、sdb

现场模拟业务压力的时候使用nmon工具发现硬盘分区的io读写峰值过高，高于预期水平。

因为当前TaiShan服务器是连接存储的共享内存使用的，所以需要使用工具查看模拟业务压力上来的时候当前分区%util和idle占用情况以及主要io作用于本地硬盘还是存储侧硬盘上。

建议：

1、iostat -x 1 命令 看await列和%util列是不是数值比较大。

2、再结合top命令看是不是CPU占用情况。

3、在await较高，util占用快100%且CPU占用反而很低的情况下可以安装iotop工具看下这些io集中于哪个进程上。

参考https://bean-li.github.io/dive-into-iostat/ 使用iostat工具和系统下安装iotop工具（yum install iotop）进行分区读写的占用的记录，并保存导出分析。

使用命令：

iostat -mtx 2 >>iostat.log &

iostat -d -x -k 1 >>iostat_dxk.log &

iotop -botq -n 10 -d 5 >>iotop.log &

1、查看命令行反馈的结果，在持续比较高的写下发到dm-2分区的时候svctm调度轮转时间响应及时，没有io等待

2、iostat读写都是在sdb和dm-2分区上，sdb是本地的硬盘分区，dm-2是存储的分区。

3、在iotop里面没有发现有本地硬盘sda、sdb的活动记录，可以判断io峰值跟服务器侧的硬盘没有关系。

4、业务下分析发现只有在共享存储占用率较高的情况下nmon监控到硬盘峰值有明显的拉高，节点分别为60%、80%上下。另外即使硬盘峰值过高被监控到，但是性能测试数据依旧是达标的。

1、峰值过高的时候活动的分区svctm调度轮转时间响应及时，没有io等待，读写带宽占用很低。

2、nmon工具监控到硬盘峰值过高的时候主要作用于存储的活动分区上，跟服务器本身不相关。

当前硬盘的空闲程度和io等待时间都是在正常范围之内的，现场反馈压测结果性能上无任何影响，存储侧的共享存储占用率增加的时候nmon工具才监测到峰值高，正常情况下峰值较低，应该关注存储侧，跟服务器侧关系不大。