如何从Windows客户端向远程集群提交pyspark作业?

时间:2016-11-30 15:04:09

标签: python apache-spark pyspark yarn

我们正在使用带有YARN的远程Spark群集(在Hortonworks中)。开发人员希望使用Spyder在Windows中实现Spark应用程序。使用ipython笔记本或Jupyter进行ssh到群集效果很好。是否还有其他方法可以从Windows与Spark集群进行通信。

问题1:我从没有安装Spark的Windows提交spark作业(用python编写)让我很头疼。有没有人可以帮我解决这个问题。具体来说,如何短语命令行来提交作业。

我们可以ssh到群集中的YARN节点,以防这些可能与某些解决方案相关。它也可以从群集到Windows客户端进行ping操作。

问题2:我们需要在客户端提供什么,例如如果我们想用这样的环境进行调试,可以使用Spark库吗?

0 个答案:

没有答案