我在PySpark工作，使用sci-kit learn 0.16.1。群集管理最近添加了许多使用sci-kit learn 0.17.1的节点，并且对象的API发生了变化。必要的升级或降级需要一段时间，因此我在查看如何在提交作业时排除某些节点。这是可能的，如果是这样，我应该在哪里做？在YARN或火花提交行动？
答案 0 :(得分：3)
请检查yarn-site.xml，您可以在其中配置要包含在纱线群集中或从纱线群集中排除的节点。例如，在https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml中检查“yarn.resourcemanager.nodes.include-path”和“yarn.resourcemanager.nodes.exclude-path”属性。