我们在linux flatform上实现了hadoop。我们使用scala spark来开发使用火花机学习库的模型。我只使用notepad ++并创建* .scala文件并在数据节点上执行它们。我想知道我可以从我的本地机器(Windows机器)使用eclipce或Intellij IDE并连接到spark来测试scala spark脚本。
答案 0 :(得分:0)
您可以使用基于浏览器的笔记本,例如ipython或特别是jupyter(因为它支持Scala)来测试脚本。但是,您需要将其连接到Hadoop Spark,如下所述:http://blog.cloudera.com/blog/2014/08/how-to-use-ipython-notebook-with-apache-spark/