从rJava调用访问SparkContext

Question

SparkR（v1.5.1）中的SparkContext是

Java ref type org.apache.spark.api.java.JavaSparkContext

但是在创建课程时：

.jnew("com.example.MyClass","sc")

对于我的scala类：class TableReader（sc：JavaSparkContext），我得到一个：java.lang.NoSuchMethodError：

什么是“Java ref类型”，如何从中获取实际上下文以通过rJava发送？

Answer 1

SparkR似乎在backend.R中实现了自己的Java互操作性。调用以SparkR:::newJObject(className, args)的形式进行，但除了在同一项目中的测试之外，我找不到任何特定的文档。

需要初始化sqlContext并在启动期间使用 - {{csv jars}或 - documentation中提到的--packages加载相关的jar。