OceanStor S2600T 写性能不达标问题

发布时间:  2015-10-20 浏览次数:  168 下载次数:  2
问题描述

某客户所购买的OceanStor S2600T包含了36块硬盘,其中34块2TB 的NL-SAS硬盘,2块600GB的SAS硬盘,要求写性能带宽达到550MB/S以上,读速率达到1GB/S,在配置完成后写性能仅为400MB/S离预期值差距较大。客户反馈2600T存储设备配置如下:

对于36盘的FIMAS36D存储,创建48盘的RAID5,每个RAID上创建一个全容量的LUN,分条深度为512K,LUN归属控制器均匀,所有LUN读写策略均为“回写镜像”

测试结果:读的带宽正常,但写的平均带宽为400M左右 ,达不到客户要求的550M 

告警信息

处理过程
1、查看设备硬件状态及客户配置文件,设备运行状态良好无硬件故障,链路状态正常;RAID组配置、LUN配置、等均不存在问题,均已按照客户业务模型进行参数设置,
2、查看每块硬盘的写速率,设备上的盘的平均写带宽为18Mb/s,利用率为40%,远未达到瓶颈,如下图所示:


3、当硬盘不是瓶颈时,重点关注cache,查看cache的配置信息,可以看到单个控制器的cache只有4G,而其中预留给写Cache的配额只有300MB,如果LUN越多,那么能够分配给每个LUN的写cache资源就越少。

4、查看每个lun上的信息,发现其(CFT_W)写冲突较多,如下图所示:


5、确认出现该问题的主要原因为写页面较少,其分配在每个lun上的写页面不足,存在较多的写冲突,影响了写性能提升。
6、针对于该问题,有两种解决方案。
  A、增加内存提升写性能(该局点不具备此条件)。
  B、修改写配额(在该场景下(内存小而写冲突较多导致的写性能低)有效)来提升写性能
7、采用第二种方案进行写性能提升具体操作如下:
  A、使用admin账号通过CLI进行登录设备。
  B、进行developer模式,密码为debug@storage。
  C、输入chgcachewritequota -quota 44 (默认为33,最大值为45
  D、重启存储,该配置生效
8、待重启配置后,重新测试写性能,写速率达到600MB/S,达到客户要求值。


根因

出现该问题的主要原因为写页面较少,其分配在每个lun上的写页面不足,存在较多的写冲突,影响了写性能提升。

解决方案
针对于该问题,有两种解决方案。
  A、增加内存提升写性能。
  B、修改写配额(在该场景下(内存小而写冲突较多导致的写性能低)有效)来提升写性能,具体操作如下:
       a、使用admin账号通过CLI进行登录设备。
       b、进行developer模式,密码为debug@storage。
       c、输入chgcachewritequota -quota 44 (默认为33,最大值为45
       d、重启存储,该配置生效

建议与总结

该问题的主要原因为是内存少导致分配在每个LUN上的写页面不足,因而写冲突较多,影响了写性能提升。

在处理性能问题时需要按照从硬件到软件进行排查,大致处理流程如下:

1、首先排除硬件对性能的影响如:控制器故障、BBU故、物理链路等

2、进行RAID组、LUN的相关参数进行排查如:每个RAID组的硬盘数、RAID组类型、LUN的分条深度、归属控制器、读写策略。

3、查看硬盘的速率是否达到瓶颈。

4、查看是控制器内存大小及是否存在写冲突。

END