Python3.4：PySpark / SparklingPandas / Spark

Question

我目前有一个pandas DataFrame，但在听到有关火花技术的消息时，我想与pyspark或sparklingpandas合作。我不确定下载哪个python spark版本用于python 3.4，也不知道如何在ubuntu 15.04上安装它。

Answer 1

你不需要，只需下载火花预建版本 https://spark.apache.org/downloads.html

  

一旦你下载了拉链，打开它，然后只是bin / pyspark就可以了   打开交互式shell，供您玩 -

有关基本的更多详情 - https://spark.apache.org/screencasts/1-first-steps-with-spark.html

对于基本操作，即使你下载hadoop预建版本，你也不需要，但是进一步操作会。 您也可以尝试使用maven构建火花

转到上面的链接，选择以下设置，然后单击红色标记链接中显示的下载

Apache Spark 1.4支持Python 3 http://spark.apache.org/releases/spark-release-1-4-0.html

https://issues.apache.org/jira/browse/SPARK-4897