在Eclipse上运行Pyspark程序时出错

时间:2019-07-14 08:56:43

标签: pyspark

无法在月食上运行Pyspark程序。

代码如下:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("SPARK").getOrCreate()

lines = spark.textFile(r"C:\Users\Tushar\Desktop\banking.csv")

counts = lines.flatMap(lambda x: x.split(' ')).map(lambda x: (x, 1)) \
                      .reduceByKey(add)

output = counts.collect()

for (word, count) in output:

    print("%s: %i" % (word, count))

spark.stop()

错误如下:

  

回溯(最近通话最近一次):

     

文件“ C:\ Users \ Tushar \ python \ Spark \ word_count \ word_count.py”,第13行,位于spark = SparkSession.builder.appName(“ SPARK”)。getOrCreate()

     

文件“ C:\ Users \ Tushar \ Desktop \ spark-2.4.0-bin-   hadoop2.7 \ python \ pyspark \ sql \ session.py“,第173行,位于getOrCreate中   startupinfo)

     

FileNotFoundError:[WinError 2]系统找不到指定的文件

0 个答案:

没有答案