Question

将在纱线客户端模式下使用spark-submit提交作业。属性文件AA.conf位于$ current_dir中。

（1）AA_With_All_Jars.jar会被复制到所有节点吗？（2）AA.conf将被复制到所有节点？（3）如果为$ current_dir / data生成了一个输出文件，它会起作用吗？

如果将模式更改为纱线群集，会发生什么？一样吗？

spark-submit \
--conf "spark.driver.extraClassPath=$current_dir/AA_With_All_Jars.jar"  \
--class "MyMain" \
--master yarn-client \
--num-executors 4 \
--driver-memory 16g \
--executor-cores 10 \
--executor-memory 6g \
$current_dir/AAA-assembly.jar $current_dir T-2 2>&1 | tee ./my_log

由于

Answer 1

不确定我理解你的问题

根据我的理解，您可以通过指定配置文件的路径来执行spark提交。我建议的最佳方法是将jar文件和配置文件移动到hdfs，然后提交。

Answer 2

以下是我的回答

（1）AA_With_All_Jars.jar会被复制到所有节点吗？

是的，这将被复制到所有节点

（2）AA.conf将被复制到所有节点吗？

不仅要复制jars文件

（3）如果输出文件是为$ current_dir / data生成的，它会起作用吗？

火花作业的输出是，您正在写入HDFS，因此您可以从任何节点进行访问

用配置文件激活提交作业

2 个答案: