Azure Databricks DBFS安装不可见

时间:2019-09-09 07:21:36

标签: azure azure-storage-blobs databricks azure-databricks

我正在尝试使用以下代码使用python笔记本将Azure存储Blob装入Azure Databricks。

mount_name = '/mnt/testMount'

if not any(mount.mountPoint == mount_name for mount in dbutils.fs.mounts()):              
    dbutils.fs.mount(
        source = "wasbs://%s@%s.blob.core.windows.net" % (container, accountName),
        mount_point = mount_name,
        extra_configs = {"fs.azure.account.key.%s.blob.core.windows.net" % (accountName ) : accountKey })       

安装成功,我可以看到使用print(dbutils.fs.mounts()) 在我的Linux VM中也使用DBFS CLI。 dbfs ls dbfs:/mnt/testMount

但是在用户界面中 不可见,也不能从python笔记本FileNotFoundError: [Errno 2] No such file or directory: '/mnt/testMount/'访问。

如果您遇到此问题,有人可以让我知道吗?解决方法是什么?

enter image description here

谢谢

2 个答案:

答案 0 :(得分:0)

我真的建议您阅读官方文档Managed and unmanaged tablesUser Guide > Databases and Tables部分。

enter image description here

因此,您将Azure Blob存储作为Azure Databricks文件系统的一部分安装到DBFS,该文件属于通过在笔记本中编码创建的非托管表。

enter image description here

答案 1 :(得分:0)

在 Azure 数据块中,您需要在 Jyupter Notebook 中提供路径为“dbfs:/mnt/azureblobshare/

示例:如果我上传文件“MyFile.txt”,那么 Jyupter notebook 中的文件路径将是

filePath="dbfs:/mnt/azureblobshare/MyFile.txt"

这应该对你有用。