当我尝试在AWS Glue中运行Spark作业时，出现以下错误。
ImportError: cannot import name explode_outer
如果我在本地spark设置中运行相同的代码，则一切正常。
这就是我在代码中导入explode_outer的方式。
from pyspark.sql.functions import explode_outer
AWS Glue中是否有任何软件包限制？
答案 0 :(得分：0)
AWS Glue目前支持Apache Spark 2.2.1。提到的功能从2.3版开始可用。
答案 1 :(得分：0)
最好在本地设置中使用Apache Spark 2.2.1。您可以编写自己的explode_outer（）方法版本