如果在导入的包中定义和使用UDF,则找不到SPARK_HOME

时间:2017-02-07 23:58:11

标签: amazon-web-services apache-spark user-defined-functions emr pyspark-sql

当我从定义和使用UDF的其他文件导入代码时,Spark执行程序会回显以下错误,我得到以下内容

"/mnt/yarn/usercache/hadoop/appcache/application_1486510313225_0004/container_1486510313225_0004_01_000002/pyspark.zip/pyspark/java_gateway.py", line 48, in launch_gateway
    SPARK_HOME = os.environ["SPARK_HOME"]
  File "/usr/lib64/python3.4/os.py", line 633, in __getitem__
    raise KeyError(key) from None
KeyError: 'SPARK_HOME'

我正在使用AWS EMR。版本为emr-5.1.0。它有应用程序:Spark 2.0.1, Ganglia 3.7.2, Hive 2.1.0

非常感谢您的帮助!

0 个答案:

没有答案