18800插拔BBU等硬件模块导致性能统计数据瞬间归零

发布时间:  2015-07-29 浏览次数:  131 下载次数:  0
问题描述

插拔BBU等硬件模块,发现SystemReporter性能时实监控曲线有瞬间归零现象,短时间后恢复

告警信息

处理过程

1、确认出问题时间有BBU等硬件模块接回事件;

2、出问题时间性能数据归0的控制器有性能统计开关关闭和打开的打印,间隔时间越长,性能统计数据下降越明显;

[WARN][Start set kern switch. (0).][PERF_KRN][PERF_KernelSetSwitch2List,1922][perf]

[WARN][Start set kern switch. (1).][PERF_KRN][PERF_KernelSetSwitch2List,1922][perf]

根因

BBU拔出重新接回设备后,OM模块会收到升级事件,收到升级事件后OM会先关闭性能统计开关,然后检查是否需要升级固件,固件升级完成后(或者发现不需要升级)再打开性能统计开关。

非集群主的控制器收到升级结束事件后性能统计模块会从集群主要配置数据,集群主通过同步模块向所有控制器同步配置数据,这样会同步大量冗余消息,而且同步流程复杂耗时,造成同步消息堆积,导致集群主发送的打开性能统计开关消息延迟30s左右,这段时间性能统计的所有性能数据都为0,但实际上IO并没有归0

解决方案
建议与总结

适用范围:

1、  OceanStor 18000V100R001C20 & TV200R002C20 & V300R001C10全系列产品

2、  涉及插拔硬件类型:BBU、接口卡、级联框、管理版(V3新硬件)

END