FusionInsight HD cpu 超过80%

发布时间:  2016-06-01 浏览次数:  336 下载次数:  0
问题描述

FusionInsight HD  在运行spark任务时主机 cpu 超过80%,银行有自己的监控系统,当发现CPU超过80%,银行系统会收到相关的告警,需要进行处理。

 

告警信息
CPU使用率过高告警。
处理过程

1. 配置yarn.nodemanager.resource.percentage-physical-cpu-limit 参数为80%,观察客户的业务运行,在界面上查看参数调整后系统的CPU占用率,发现系统的CPU整体占用率还是超过80%。

2.查看相关指导文档发现 yarn.nodemanager.resource.percentage-physical-cpu-limit 参数表示 该物理服务器上启动的所有job最大的cpu占用率。服务器CPU的占用率等于yarn任务占用的CPU率加上操作系统的CPU占用率。经评估,服务器操作系统占用CPU资源在20%以内,该参数为60%,观察客户的业务正常运行几天,发现服务器的CPU占用率不会超过80%。

根因
由于大数据平台在跑spark任务,需要耗费大量的CPU资源,导致CPU使用率过高,yarn可以调度的CPU资源为整个主机的CPU资源,可以调整yarn的使用,来限制CPU使用率。
解决方案

在FusionInsight HD 的yarn配置参数中修改yarn.nodemanager.resource.percentage-physical-cpu-limit 参数。

客户要求 CPU的使用率不超过80%,配置yarn.nodemanager.resource.percentage-physical-cpu-limit 参数为60%。

持续观察客户的业务运行,服务器的CPU未超过80%。

END