Java中的SparkR上下文

时间:2016-05-27 05:03:00

标签: java r apache-spark sparkr

我有一个spring应用程序,我已将spark定义为 maven依赖。 正如link

中所述

现在我可以通过在类文件中初始化构造函数 JavaSparkContext 来生成 Spark Context : -

SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);
JavaSparkContext sc = new JavaSparkContext(conf);

我已阅读 SparkR documentation,它说需要sparkR创建的spark上下文:

sc <- sparkR.init()
sqlContext <- sparkRSQL.init(sc)

这是来自spark二进制文件中的SparkR控制台。

我需要在java中做同样的事情,所以我在核心spark包中看到了一个包含 R api的包,我在上面的设置中添加了作为依赖的maven。

package org.apache.spark.api.r;

我的问题:

  1. 以上套餐是否包含完整的 SparkR apis
  2. 如何调用这些SparkR apis,即我必须实例化一些对象,然后说我有一个数组,我想在上面的apis链接中调用SparkR的 avg 函数,如何我是用Java做的吗?

0 个答案:

没有答案