所选语种没有对应资源,请选择:

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>

提示

尊敬的用户,您的IE浏览器版本过低,为获取更好的浏览体验,请升级您的IE浏览器。

升级
案例库

FAQ-FusionInsight平台修改Spark任务默认提交队列

发布时间:  2017-08-30  |   浏览次数:  1086  |   下载次数:  0  |   作者:  lWX465728  |   文档编号: EKB1000843171

目录

问题描述

用户需要进行队列资源隔离,将Spark任务单独指定到非default队列中,可以参考此方法进行操作。

处理过程

场景1.针对单独的Spark-submit中指定队列提交任务,可以通过增加--queue QUEUE_NAME参数,说明如下

场景2. 从平台下载的Spark客户端的Spark-default配置文件中有配置默认的队列,因此可以通过修改客户端中如下配置文件进行指定,重新提交任务即可生效。

场景3. 通过修改Manager界面参数,但是需要重新下载安装客户使用。

    修改的说明如下,此处Manager界面中队列的相关有两个参数

 

其中第一个JDBCServer中的SPARK_YARN_QUEUE队列仅指平台Spark JDBCServer自身使用的队列,是一个常驻任务,如下图。

另一个SparkResource中的SPARK_YARN_QUEUE参数是实际上对应的就是客户端spark-default中的配置,会在客户端下载时写入客户端配置文件中,因此修改后需要重新下载安装Spark客户生效。