从第二个R笔记本呼叫Databricks上的R笔记本

Question

我尝试在使用spark-submit传递参数的同时在Databricks上调用R笔记本。

我的方法如下：

com <- "spark-submit foo.R p1 & spark-submit foo.R p2"
system(com)

这应该调用脚本foo.R并移交参数p1。

这将返回：

 sh: 1: spark-submit: not found
 sh: 1: spark-submit: not found

我希望这会将两个作业提交给Spark集群。任何帮助我所缺少的吗？谢谢！

Answer 1

我假设您尝试在R笔记本中运行这些命令。从Databricks笔记本中调用其他笔记本的标准方法是dbutils.notebook.run。目前，它仅适用于Python和Scala。

您可以通过在R笔记本中添加Python单元来解决该问题：

%python
dbutils.notebook.run("foo.R", 60, {"argument": "p1"})
dbutils.notebook.run("foo.R", 60, {"argument": "p2"})

如果在R中生成笔记本参数p1和p2，则可以使用临时视图将它们传递给Python单元。