使用Spark在Jave中编程

时间:2016-02-26 00:02:47

标签: java python scala apache-spark

我知道如何配置环境以使用Scala和Python以及Spar,但我和Java一样存在问题。

使用Java配置Spark环境的最简单方法是什么? (指南 - 安装步骤)

Sinecirely ķ。

@Update

我已经找到了使用Java的Apache Spark的一个很好的介绍,所以问题就解决了。教程的链接如下:

Apache Spark Tutorial–Run your First Spark Program

Sinecirely ķ。

2 个答案:

答案 0 :(得分:3)

你应该多关注官方网页。观看此http://spark.apache.org/examples.html。有Python,Scala和Java的例子,这就是你想要的。

此外,您还有official Java API。只需下载.jar即可开始使用。

答案 1 :(得分:1)

您可以在JVM中使用Spark(跨Java,Clojure,Scala等)。 此外,Spark通过JavaSparkContextorg.apache.spark.api.java

提供Java接口
  

Spark Java API将Scala版本中可用的所有Spark功能公开给Java。要了解Spark的基础知识,我们建议您首先阅读Scala编程指南;即使你不了解Scala,也应该很容易理解。本指南将说明如何使用Java中描述的Spark功能。   Spark Java API在org.apache.spark.api.java包中定义,包括一个用于初始化Spark和JavaRDD类的JavaSparkContext,它们支持与Scala对应方法相同的方法,但是使用Java函数并返回Java数据和集合类型。主要区别与将函数传递给RDD操作(例如map)和处理不同类型的RDD有关,如下所述。

找到here