有没有办法在 Databricks 笔记本中参数化魔法命令?

时间:2021-06-01 12:52:07

标签: pyspark databricks

我希望能够运行配置文件列表并使用 %run 将变量从配置文件导入到 databricks 笔记本中。 但是我找不到在 %run 之后动态更改文件的方法。

我尝试过指定这样的参数: 配置 = './config.py' % 运行 $config 但它不起作用。我无法使用 dbutils.notebook.run(config),因为我无法访问主笔记本中的变量。

有什么办法可以做到这一点吗?

1 个答案:

答案 0 :(得分:0)

既然您已经提到了配置文件,我会认为您已经在某些路径中提供了配置文件,而那些不是 Databricks notebook。

你可以在一个 notebook 中使用 python - configparser 来读取配置文件,并在主 notebook 中使用 %run 指定 notebook 路径(或者你可以通过在主 notebook 中使用 configparser 来忽略 notebook 本身)

参考:How to read a config file using python