初学者Spark开发技巧

Question

我开始学习Spark并希望在我的Windows桌面上设置本地群集，然后准备就绪，然后在AWS上部署应用程序。想要获得有关使用哪些工具的一些提示。我将使用Eclipse在java中进行开发。我应该使用Databricks或Cloudera还是只使用普通的Spark？寻找任何有用的技巧作为初学者，将帮助我更快地学习。谢谢。

Answer 1

我认为你应该下载“Vanilla Spark”。然后在Eclipse中创建一个Maven项目。在Pom文件中，您应该添加正确的依赖项（Spark Core，Spark SQL，...）。然后导出你的Jar。您可以使用提交脚本启动它。在开始时，您应该尝试从示例中运行Java代码。然后你就可以开始编写自己的代码了。