Question

我已经按照这个简单的教程 https://ysinjab.com/2015/03/28/hello-spark/ 但我试图在Windows上这样做。当我最终运行代码时

file = sc.textFile("C:\war_and_peace.txt")
warsCount = file.filter(lambda line:"war" in line)
peaceCount = file.filter(lambda line:"peace" in line)
warsCount.count()

我收到了一个错误文件“C：\ Spark \ python \ lib \ pyspark.zip \ pyspark \ worker.py”，第64行，主要例外：worker中的Python与驱动程序3.5中的版本不同，PySpark不能与不同的次要版本一起运行

我尝试在C：\ Spark \ conf \ spark-spek-env.sh中编辑我的配置文件通过添加

PYSPARK_PYTHON=python3
PYSPARK_DRIVER_PYTHON=ipython C:\Spark\bin

但这并没有改善事情。有没有人有解决方案？

Answer 1

尝试使用python可执行文件的绝对路径。我在群集中遇到了很多这个问题。如果您在独立模式下工作，请尝试使用virtualenv，anaconda或类似的东西。

执行spark示例时有问题吗？

./bin/spark-submit examples/src/main/python/pi.py

在Windows 10中运行Spark和Ipython：例外：worker中的Python与驱动程序3.5中的版本不同

1 个答案: