以编程方式将库导入到Databricks中的工作区

时间:2019-07-12 07:54:46

标签: databricks azure-databricks

我想以编程方式将(Python Wheel)库添加到Databricks上的/Shared工作区。在GUI中很容易做到(工作区>导入>库),但是我不知道如何在Databricks CLI中做到这一点。

所以我虽然有两种可能的策略:

  1. 将其安装为库
  2. 将其作为文件复制到工作区

似乎1)不可行,因为 library 术语专用于群集上的实际安装,而2)不可行,因为workspace import需要语言(Python,R,SQL等等),并将文件解释为脚本。

所以我对如何解决这个问题有点迷茫。

1 个答案:

答案 0 :(得分:0)

根据我的观察:

注意: databricks workspace import“将文件从本地导入到Databricks工作区。”

我尝试使用databricks workspace import cmdlet并了解它可以作为文件复制。

enter image description here

  

如何使用Azure Databricks CLI安装库?

使用DBFS CLI将库从本地目录复制到DBFS:

databricks fs cp "C:\Users\Azurewala\Downloads\wheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars

使用API​​或UI创建集群。

使用databricks clusters list获取集群ID并复制集群ID。

使用DBFS CLI将DBFS中的库附加到集群:

databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"

enter image description here

使用Azure Databricks CLI成功安装了一个库:

enter image description here

希望这会有所帮助。