如何在火花罐中使用dbutils.secrets

时间:2019-02-07 09:01:03

标签: scala azure apache-spark databricks azure-databricks

因此,我目前正在尝试为我的Databricks开发环境设置秘密。我已经使用Databricks-cli成功设置了这些。我现在正在尝试在我的火花罐(用Scala编写)中使用它们。但是,它需要在本地和ci / cd管道中进行编译才能实时发布。

但是我找不到dbutils位于哪个包中。

... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")

这是我正在尝试实现的用例,将不胜感激!

2 个答案:

答案 0 :(得分:0)

在Databricks中,当jar中包含业务逻辑时,每个作业都应从笔记本开始,应定义为附加到集群的库。

启动笔记本通常使用dbutils处理所有外部参数,然后调用将密码,连接字符串等作为函数参数的业务逻辑代码。

所有机密仅存储在KeyVault中。在这里您可以找到how to integrate Databricks secret scopes with KeyVault

要在本地运行代码,请使用Azure CLI从KeyVault检索密码并在每次运行之前将其分配给环境变量作为准备步骤。

答案 1 :(得分:0)

您尝试过com.databricks.dbutils_v1.DBUtilsHolder.dbutils吗? 我的SBT版本具有"com.databricks" %% "dbutils-api" % "0.0.3"依赖关系,似乎依赖于dbutils