Apache Spark Java API限制

Question

有人可以为我提供一些尚未在Apache Spark中实现的示例Java API。我正在尝试查看是否存在任何不存在/功能有限的Scala Spark API＆＃34;如果我决定使用Java API。 这对我来说是一个交易破坏者。

声明： 基于我的谷歌搜索/分析，我意识到Scala社区对Apache Spark的支持非常好。我也明白，为了有效地使用Spark，你需要学习一些Scala（源代码在Scala中）。

Answer 1

乐观的观点：

Consider that：

  

标准的Scala后端是Java VM。 Scala类是Java类，反之亦然。您可以从另一个方法中调用任一种语言的方法。您可以在Scala中扩展Java类，反之亦然。主要限制是某些Scala功能在Java中没有等效项，例如traits。

结论 - 没有遗漏的API

悲观的观点：

Spark是用Scala编写的，具有以Scala为中心的API，并且不兼容Java。有多个包（如GraphX），没有Java友好的API。您需要偶尔使用代码like this。