当我从定义和使用UDF的其他文件导入代码时,Spark执行程序会回显以下错误,我得到以下内容
"/mnt/yarn/usercache/hadoop/appcache/application_1486510313225_0004/container_1486510313225_0004_01_000002/pyspark.zip/pyspark/java_gateway.py", line 48, in launch_gateway
SPARK_HOME = os.environ["SPARK_HOME"]
File "/usr/lib64/python3.4/os.py", line 633, in __getitem__
raise KeyError(key) from None
KeyError: 'SPARK_HOME'
我正在使用AWS EMR。版本为emr-5.1.0
。它有应用程序:Spark 2.0.1, Ganglia 3.7.2, Hive 2.1.0
非常感谢您的帮助!