Question

我已经在其上创建了一个包含Spark的Amazon EMR集群。当我从终端运行pyspark时，当我进入我的集群时，它会进入pyspark终端。

我使用scp上传了一个文件，当我尝试使用python FileName.py运行它时，出现导入错误：

from pyspark import SparkContext
ImportError: No module named pyspark

我该如何解决这个问题？

Answer 1

我为emr 4.3添加以下行~/.bashrc：

export SPARK_HOME=/usr/lib/spark
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.XXX-src.zip:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

这里py4j-0.XXX-src.zip是你的spark python库文件夹中的py4j文件。搜索/usr/lib/spark/python/lib/以查找确切版本，并将XXX替换为该版本号。

运行source ~/.bashrc，你应该很好。

Answer 2

您可能需要将pyspark文件添加到路径中。我通常使用如下函数。

def configure_spark(spark_home=None, pyspark_python=None):
    spark_home = spark_home or "/path/to/default/spark/home"
    os.environ['SPARK_HOME'] = spark_home

    # Add the PySpark directories to the Python path:
    sys.path.insert(1, os.path.join(spark_home, 'python'))
    sys.path.insert(1, os.path.join(spark_home, 'python', 'pyspark'))
    sys.path.insert(1, os.path.join(spark_home, 'python', 'build'))

    # If PySpark isn't specified, use currently running Python binary:
    pyspark_python = pyspark_python or sys.executable
    os.environ['PYSPARK_PYTHON'] = pyspark_python

然后，您可以在导入pyspark之前调用该函数：

configure_spark('/path/to/spark/home')
from pyspark import SparkContext

EMR节点上的Spark home应该类似于/home/hadoop/spark。有关详细信息，请参阅https://aws.amazon.com/articles/Elastic-MapReduce/4926593393724923。

Answer 3

尝试使用findspark：使用pip install findspark通过外壳安装。

示例代码：

# Import package(s).
import findspark
findspark.init()

from pyspark import SparkContext
from pyspark.sql import SQLContext

Answer 4

您可以使用以下命令从命令行直接执行文件：

spark-submit FileName.py

未找到Amazon EMR Pyspark模块

4 个答案: