在Apache Spark中设置动态分配？

Question

我正在遵循指令here来为YARN资源管理器设置动态分配。

但是，我对第3步感到困惑：Add this jar to the classpath of all NodeManagers in your cluster.

这是否意味着转到每个节点服务器并将shuffle.jar的路径添加到PATH环境变量？ export=$PATH:<loc-to-shuffle.jar>？

Answer 1

Yarn类路径表示在所有节点管理器上，在yarn-site.xml中设置yarn.application.classpath，其中包含以逗号分隔的CLASSPATH条目列表。

当此值为空时，将使用以下默认的CLARSPATH for YARN应用程序 对于Linux：$ HADOOP_CONF_DIR，$ HADOOP_COMMON_HOME / share / hadoop / common / ，$ HADOOP_COMMON_HOME / share / hadoop / common / lib / ，$ HADOOP_HDFS_HOME / share / hadoop / hdfs / ，$ HADOOP_HDFS_HOME / share / hadoop / hdfs / lib / ，$ HADOOP_YARN_HOME / share / hadoop / yarn / ，$ HADOOP_YARN_HOME / share / hadoop / yarn / lib /
对于Windows：％HADOOP_CONF_DIR％，％HADOOP_COMMON_HOME％/ share / hadoop / common / ，％HADOOP_COMMON_HOME％/ share / hadoop / common / lib / ，％HADOOP_HDFS_HOME％/ share / hadoop / hdfs / ，％HADOOP_HDFS_HOME％/ share / hadoop / hdfs / lib / ，％HADOOP_YARN_HOME％/ share / hadoop / yarn / ，％HADOOP_YARN_HOME％/ share / hadoop / yarn / lib / < / p>

所以将spark-<version>-yarn-shuffle.jar放在yarn.application.classpath中定义的列出的类路径目录之一或默认的类路径目录中。

您还可以在其中一个纱线类路径目录

中创建spark-<version>-yarn-shuffle.jar的软链接

希望这会有所帮助......