pyspark：pip install找不到版本

Question

我正在尝试使用pyspark安装pip install，如下所示。但是我遇到了以下错误。

(python_virenv)edamame$ pip install pyspark
Collecting pyspark
  Could not find a version that satisfies the requirement pyspark (from versions: )
No matching distribution found for pyspark

有没有人有任何想法？谢谢！

Answer 1

从Spark 2.2开始，PySpark现在可以在PyPI中使用。

pip install pyspark

从Spark 2.1开始，PySpark可以安装pip，但还没有来自PyPI，这个ticket正在考虑2.2。要安装PySpark，您现在只需要下载Spark 2.1+并运行setup.py：

cd spark-2.1/python/
pip install -e .

非常感谢@Holden！

Answer 2

pyspark不在PyPI中，因此您无法直接使用pip install进行安装。

相反，您可以在此处下载适当版本的Spark：http://spark.apache.org/downloads.html，您将获得压缩的TAR文件。然后解压缩，pyspark位于python文件夹中。

要打开Spark版本的Python，您可以进入Spark目录并输入：

bin/pyspark

或

bin\pyspark

在Windows中

。

Answer 3

你可以从https://pypi.python.org/pypi?%3Aaction=search&term=pyspark&submit=search看到

pyspark甚至不存在于PyPI中，这就是pip告诉你无法找到它的原因

Answer 4

PySpark可以通过以下方式安装。

从Spark Downloads

下载火花

下载并解压缩压缩文件。转到 bin 文件夹，然后执行

./bin/pyspark 

您可能还想在shell的$PATH变量中添加bin文件夹。

或者，

您可以从CDH发行版安装它：

• 按照此处的步骤添加CDH密钥： http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html
• 按照以下步骤安装spark： http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_spark_install.html#xd_583c10bfdbd326ba--6eed2fb8-14349d04bee--7ef8