用例Apache Spark使Nameerror与countryCodeMap一起运行

时间:2019-05-30 21:45:24

标签: apache-spark pyspark pyspark-sql

我对此很陌生,并且我正在使用databricks.com上的用例来了解更多信息。 (https://databricks.com/blog/2018/07/09/analyze-games-from-european-soccer-leagues-with-apache-spark-and-databricks.html

我正在通过Jupiter Notebook和python 3运行spark。我已经能够加载文件等,但是我在一行中遇到了nameError。它说还没有定义,但是我看不到任何地方可以定义它或如何做。  线是这样的:

gameInfDf = gameInfDf.withColumn("country_code", mapKeyToVal(countryCodeMap) ("country"))

nameError是:未定义名称“ countryCodeMap” 在此之前,我运行了这段代码:

def mapKeyToVal(mapping):
    def mapKeyToVal_(col):
        return mapping.get(col)
    return udf(mapKeyToVal_, StringType())

请问有人可以在错误的程序上运行它还是我的问题所在?

非常感谢您。

1 个答案:

答案 0 :(得分:0)

按照https://databricks.com/blog/2018/07/09/analyze-games-from-european-soccer-leagues-with-apache-spark-and-databricks.html。您错过了退货的空间。不确定如何运行此部分。尝试定义UDF时出现错误。 试试这个:

def mapKeyToVal(mapping):
    def mapKeyToVal_(col):
        return mapping.get(col)
    return udf(mapKeyToVal_, StringType())