因此,我目前正在尝试为我的Databricks开发环境设置秘密。我已经使用Databricks-cli成功设置了这些。我现在正在尝试在我的火花罐(用Scala编写)中使用它们。但是,它需要在本地和ci / cd管道中进行编译才能实时发布。
但是我找不到dbutils
位于哪个包中。
... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")
这是我正在尝试实现的用例,将不胜感激!
答案 0 :(得分:0)
在Databricks中,当jar中包含业务逻辑时,每个作业都应从笔记本开始,应定义为附加到集群的库。
启动笔记本通常使用dbutils
处理所有外部参数,然后调用将密码,连接字符串等作为函数参数的业务逻辑代码。
所有机密仅存储在KeyVault中。在这里您可以找到how to integrate Databricks secret scopes with KeyVault
要在本地运行代码,请使用Azure CLI从KeyVault检索密码并在每次运行之前将其分配给环境变量作为准备步骤。
答案 1 :(得分:0)
您尝试过com.databricks.dbutils_v1.DBUtilsHolder.dbutils
吗?
我的SBT版本具有"com.databricks" %% "dbutils-api" % "0.0.3"
依赖关系,似乎依赖于dbutils
。