在pySpark中,我得到py4j.protocol.Py4JError:py4j.Py4JException:方法isBarrier([])不存在

时间:2019-01-30 09:27:59

标签: apache-spark pyspark py4j

此异常在lines.count()处出现。

  

发生异常:py4j.protocol.Py4JError发生错误   同时调用o26.isBarrier。跟踪:py4j.Py4JException:方法   isBarrier([])在以下位置不存在   py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)   在   py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)   在py4j.Gateway.invoke(Gateway.java:274)处   py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
  在py4j.commands.CallCommand.execute(CallCommand.java:79)处           从pyspark导入SparkContext           从pyspark导入SparkConf

代码:

    conf = SparkConf()

    conf.setAppName("First App")

    sc = SparkContext('local',conf=conf)
    print("-----------------------------------------------------------------------------")
    lines = sc.textFile("sample.csv")
    print("-----------------------------------------------------------------------------")
    lines.count()

0 个答案:

没有答案