Spark AnalysisException：路径不存在：Azure Blob存储

Question

我正在尝试从Azure上的Blob存储读取数据。我正在使用IntelliJ IDE。我已经为IntelliJ安装了Azure插件。我正在尝试从Blob存储读取文件，但是获取Path不存在错误。如果我从Jupyter笔记本读取相同的文件，则它可以正常工作。如果我读取默认文件'HVAC.csv'，则不会出错，但是如果我在同一文件夹或任何其他容器或任何其他文件夹中添加另一个文件，则会出现“路径不存在”错误。

Works：Azure提供的默认文件

val rdd = spark.read.csv("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")

不起作用：我在同一目录或任何其他目录中添加的文件。

val rdd = spark.read.csv("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/mapping.csv")
val rdd2 = spark.read.csv("wasb://esdata@usspendhdinsightstorage.blob.core.windows.net/Qafac.csv")

PS：我可以在IntelliJ内部的Azure资源管理器中以及从Microsoft Azure存储资源管理器中看到数据。可以从Jupyter Notebook读取它，但IntelliJ会出现问题。

Answer 1

在Azure门户中为Blob容器设置以下属性。