Question

我正在尝试[页面] [1]的例子。为什么我的语法错误无效？

>>> MSE = valuesAndPreds.map(lambda (v,p): (v - p)**2).reduce(lambda x, y: x + y) / valuesAndPreds.count()
  File "<stdin>", line 1
    MSE = valuesAndPreds.map(lambda (v,p): (v - p)**2).reduce(lambda x, y: x + y) / valuesAndPreds.count()
                                    ^
SyntaxError: invalid syntax

版本信息

>>> print(sys.version)
3.5.1 |Anaconda 2.5.0 (64-bit)| (default, Jan 29 2016, 15:01:46) [MSC v.1900 64 bit (AMD64)]

>>> sys.version_info
sys.version_info(major=3, minor=5, micro=1, releaselevel='final', serial=0)

我尝试了评论中给出的建议，但没有运气

>>> MSE = valuesAndPreds.map(lambda v, p: (v - p)**2).reduce(lambda x, y: x + y) / valuesAndPreds.count()
[Stage 179:>                                                        (0 + 2) / 2]16/03/14 20:06:22 ERROR Executor: Exception in task 0.0 in stage 179.0 (TID 346)
org.apache.spark.api.python.PythonException: Traceback (most recent call last):

Answer 1

Pyspark应该告诉你它使用的是哪个Python版本：

$ ./pyspark
...
Using Python version 2.7.10 (default, Dec 25 2015 13:37:32)
SparkContext available as sc, HiveContext available as sqlContext.

您可以使用python --version命令在控制台中检查您的python版本。如果您使用的是Python版本3，那么在该版本中，您使用的语法不正确，应该是：

valuesAndPreds.map(lambda kv: (kv[0] - kv[1])**2)

然后我又不知道PySpark与Python3的结合程度如何。

如果您想使用Python 2运行，可以通过导出此env变量export PYSPARK_PYTHON=python2来实现。您也可以像pyspark

一样开始PYSPARK_PYTHON=python2 ./bin/pyspark

spark recovery示例无效语法错误

1 个答案: