Google Dataproc群集属性

Question

我希望获得有关这些属性是用于整个群集\每个节点还是两者结合的更多详细信息。对于spark:spark.executor.instances
2来说，这是整个集群还是特定节点的属性？

Answer 1

正如dagang所说，应在集群的每个节点上对各种Dataproc属性进行相同的设置。您可以在与spark:/core:/distcp:/hdfs:/mapred:/yarn:对应的每个群集上归档的主要配置文件如下（除了其他文件以外，还包含其他可选组件）：

/etc/spark/conf/spark-defaults.conf
/etc/hadoop/conf/core-site.xml
/etc/hadoop/conf/distcp-default.xml
/etc/hadoop/conf/hdfs-site.xml
/etc/hadoop/conf/mapred-site.xml
/etc/hadoop/conf/yarn-site.xml

其他文件可以在类似的目录中找到。