如何在databricks上安装jvmr包

Question

我想在databricks上的scala脚本中调用R函数。无论如何我们可以做到吗？

我用

JVMR_JAR=$(R --slave -e 'library("jvmr"); cat(.jvmr.jar)')
scalac -cp "$JVMR_JAR"
scala -cp ".:$JVMR_JAR"

在我的Mac上，它会自动打开一个可以调用R函数的scala。 有什么方法可以在databricks上做类似的事情吗？

Answer 1

在DataBricks Cloud上，您可以使用sbt-databricks将外部库部署到云中并将它们附加到特定的群集，这是确保jvmr可用于您正在调用它的计算机的两个必要步骤。

请参阅插件的github自述文件和the blog post。

如果这些资源不够，也许您应该向Databricks的支持提出您的问题。

Answer 2

如果要在scala笔记本中调用R函数，可以使用%r快捷方式。

df.registerTempTable("temp_table_scores")

创建一个新单元格，然后使用：

%r
scores <- table(sqlContext, "temp_table_scores")
local_df <- collect(scores)    
someFunc(local_df)

如果要将数据传回环境，可以将其保存到S3或将其注册为临时表。