发布时间: 2017-08-30 | 浏览次数: 1265 | 下载次数: 0 | 作者: lWX465728 | 文档编号: EKB1000843171
场景1.针对单独的Spark-submit中指定队列提交任务,可以通过增加--queue QUEUE_NAME参数,说明如下
场景2. 从平台下载的Spark客户端的Spark-default配置文件中有配置默认的队列,因此可以通过修改客户端中如下配置文件进行指定,重新提交任务即可生效。
场景3. 通过修改Manager界面参数,但是需要重新下载安装客户使用。
修改的说明如下,此处Manager界面中队列的相关有两个参数
其中第一个JDBCServer中的SPARK_YARN_QUEUE队列仅指平台Spark JDBCServer自身使用的队列,是一个常驻任务,如下图。
另一个SparkResource中的SPARK_YARN_QUEUE参数是实际上对应的就是客户端spark-default中的配置,会在客户端下载时写入客户端配置文件中,因此修改后需要重新下载安装Spark客户生效。