我们如何在dbfs / filestore中保存或上传.py文件

时间:2019-08-13 00:08:17

标签: azure pyspark azure-databricks

在我本地需要的.py文件中,很少有要在dbfs的fileStore路径上存储/保存的。我该如何实现?

尝试了dbUtils.fs个模块复制操作。

我尝试了以下代码,但是没有用,我知道源路径不正确。还是有更好的方法呢?请指教

'''
dbUtils.fs.cp ("c:\\file.py", "dbfs/filestore/file.py")
'''

1 个答案:

答案 0 :(得分:0)

听起来您想将本地文件复制到Azure Databricks服务器的dbfs路径。但是,由于基于浏览器的Azure Databricks笔记本的交互界面,它无法通过在云上编程直接在本地操作文件。

因此,您可以尝试以下解决方案。

  1. 正如@Jon在评论中所说,您可以按照官方文档Databricks CLI在本地然后通过copy a file to dbfs通过Python工具命令pip install databricks-cli安装databricks CLI。< / p>

  2. 按照官方文档Accessing Data通过Drop files into or browse to files in the Import & Explore Data box on the landing page导入数据,但也建议使用CLI,如下图所示。

    enter image description here

  3. 将指定的文件上传到Azure Blob存储,然后按照官方文档Data sources / Azure Blob Storage进行包含dbutils.fs.cp的操作。

希望有帮助。