我们正在使用带有YARN的远程Spark群集(在Hortonworks中)。开发人员希望使用Spyder在Windows中实现Spark应用程序。使用ipython笔记本或Jupyter进行ssh到群集效果很好。是否还有其他方法可以从Windows与Spark集群进行通信。
问题1:我从没有安装Spark的Windows提交spark作业(用python编写)让我很头疼。有没有人可以帮我解决这个问题。具体来说,如何短语命令行来提交作业。
我们可以ssh到群集中的YARN节点,以防这些可能与某些解决方案相关。它也可以从群集到Windows客户端进行ping操作。
问题2:我们需要在客户端提供什么,例如如果我们想用这样的环境进行调试,可以使用Spark库吗?