Spark配置和参数之间的映射

Question

当我在命令行中启动spark时，我发现参数num-executors的行为类似于配置文件中的spark.executor.instances。它们实际上是一样的吗？如果是这样，我在哪里可以找到所有这些相同功能对之间的完整映射？

Answer 1

来自the documentation

  

Spark shell和spark-submit工具支持两种加载方式   配置动态。第一个是命令行选项，例如   如--master，如上所示。 spark-submit可以接受任何Spark   使用--conf标志的属性，但对属性使用特殊标志   它在启动Spark应用程序中发挥作用。运行   ./bin/spark-submit --help将显示这些选项的完整列表。

因此，--executor-cores等命令行选项的数量少于spark.executor.cores之类的火花选项，并且文档说，您可以通过运行{{{{}}}获得--个选项。 1}}。运行这个 - 它会告诉你并非所有的CL选项都适用于所有情况（这让我很困惑）。您可以设置任何没有特殊命令行选项的属性，如：./bin/spark-submit --help。

Here is an incomplete table - 您必须仔细阅读评论才能找到合适的参数。