Spark - 我应该使用哪种语言？

Question

目前Spark支持多种语言来使用它的功能，例如Scala，Java，Python，但是我应该选择使用哪种语言？

有人可以解释在Spark上使用每种语言的利弊吗？

Answer 1

我对Spark有一点经验，所以这个输入是从初学者的角度来看的。

对于scala 我发现大多数当前的实现，包括示例，API的详细解释等，最好在scala中提供。

通常，scala结合了JVM环境中的函数语言的优点，并且更容易实现map-reduce功能。

对于Java 由于其他开发人员的可移植性问题，我目前正在使用Java，并发现缺少示例和spark中可用的正确javadoc。但是，它在java中也是可行的。

希望这会有所帮助。没有在Spark中使用python。

Answer 2

独立程序可以用任何方式编写，但控制台只能用Python和斯卡拉。 如果您是Python开发人员，那么您可以将Python用于两者。关于性能Java或Scala将更快（静态类型），但Python可以很好地进行数值工作。