Question

我刚开始使用spark并在亚马逊EC2实例上以独立模式运行它。我正在尝试文档中提到的示例，并且在通过这个名为Simple App的示例时，我不断收到此错误： NameError：name＆＃39; numAs＆＃39;未定义

from pyspark import SparkContext

logFile = "$YOUR_SPARK_HOME/README.md"  # Should be some file on your system
sc = SparkContext("local", "Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print "Lines with a: %i, lines with b: %i" % (numAs, numBs)

如何将编辑器集成到spark而不是使用这个动态python shell？为什么我一直收到这个错误？

感谢您的帮助/指导。

Answer 1

将您的所有python代码放入 .py文件，然后提交 .py文件，如下所示：

# Run a Python application on a Spark Standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000

在这里阅读：

Submitting Applications

试试这些例子，真的很有帮助：

使用spark在python中运行独立应用程序示例时出错

1 个答案: