我有一个spring应用程序,我已将spark定义为 maven依赖。 正如link。
中所述现在我可以通过在类文件中初始化构造函数 JavaSparkContext 来生成 Spark Context : -
SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);
JavaSparkContext sc = new JavaSparkContext(conf);
我已阅读 SparkR 的documentation,它说需要sparkR创建的spark上下文:
sc <- sparkR.init()
sqlContext <- sparkRSQL.init(sc)
这是来自spark二进制文件中的SparkR控制台。
我需要在java中做同样的事情,所以我在核心spark包中看到了一个包含 R api的包,我在上面的设置中添加了作为依赖的maven。
package org.apache.spark.api.r;
我的问题: