下载,安装,配置,使用spark包

时间:2016-07-15 18:24:38

标签: apache-spark pyspark

我是Spark / PySpark的新手。我试图通过查找.jar文件,下载,运行“spark-submit --jars JARFILE pythoncode.py”来尝试读取CSV并试图使用我一直看到引用的spark-csv包,它花了很长时间才运行在df.show()之后的最后,它显示了标题sans数据。所以与我写的函数相比,它很慢并且不起作用(我确定这是我的错误)。我也尝试以类似的方式使用spark-ts包,但我甚至无法运行它。是否有类似于Spark的pip安装和/或任何类型的婴儿步骤说明,用于一般的Spark包安装/使用?

0 个答案:

没有答案