OceanStor S5600TV2在OLAP业务场景下性能较低

发布时间:  2015-12-17 浏览次数:  193 下载次数:  0
问题描述

某客户反馈局点一套S5600TV2统一存储,客户业务模型为ETL OLAP带宽型业务。存储设备提供SAN业务,主机到存储有8条链路,链路正常,巡检时候发现:

存储DiskDomain、StoragePool、Raid、LUN、硬盘均无告警,但存储性能监控数据显示业务带宽只有约8MB/S,业务吞吐量有问题。

告警信息

 

通过日志信息分析,发现局点多次出现CPU利用率过高的告警;同时查看系统总CPU利用率,发现达到90%。

   

处理过程

OceanStor S5600T V200R002C00版本为提升大业务压力下的系统稳定性,在CPU利用率超过85%时会自动进入流控状态,此状态会限制主机下发的IO,待CPU利用率下降后,流控状态自动解锁。局点性能问题,确认是由于CPU利用率超过85%后系统进入流控状态导致。

获取系统top信息,发现多个os_debug_mode_p进程CPU利用率过高:

os_debug_mode_p进程为使用OceanStor toolkit工具进行日志收集时登录系统后台产生的进程,因工具版本问题,工具收集日志完成后未正常退出,导致此进程驻留在系统(工具连接的控制器),空耗CPU资源

根因

由于日志收集工具版本问题,收集日志后系统驻留多个空耗CPU资源的os_debug_mode_p进程,当业务压力稍大,CPU利用率超过85%后,系统进入流控状态,限制主机业务下发,在业务层面表现为性能差

解决方案
进入minisystem模式,将空耗CPU的os_debug_mode_p进程手动kill。CPU利用率恢复正常后,流控状态解锁,系统恢复正常
建议与总结
避免使用老版本工具收集系统日志,巡检前必须使用最新版本巡检工具。

END