我正在尝试在我的胶水作业中配置火花。当我尝试在“编辑作业”，“作业参数”中分别作为键和赋值对（例如，键：-conf值：spark.executor.memory = 10g）输入它们时，它可以工作，但是当我尝试将它们放入时总共（由空格或逗号分隔），将导致错误。我也尝试使用sc._conf.setAll，但是Glue忽略了该配置，并坚持使用其默认设置。使用Spark 2.4可以做到这一点吗？
答案 0 :(得分：0)
是的，您可以按如下所示传递多个参数：
键： --conf
值：spark.yarn.executor.memoryOverhead = 7g --conf spark.yarn.executor.memory = 7g
答案 1 :(得分：0)
--conf 是一个内部AWS Glue参数，您永远不要设置。这是使用托管服务时必须放弃的灵活性之一。
请参阅AWS文档https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-glue-arguments.html