Scala:当blob名称以下划线开头时,Spark读取返回空数据帧

时间:2019-01-31 06:09:32

标签: scala apache-spark azure-storage-blobs

我正在尝试这样做-

val df = sparkSession.read.option( "charset", "utf-8" ).text( paths: _* )

当我给出斑点名称“ V0QMrWR7RP-xkHHJ4kqqYA”的路径时,它将返回具有正确斑点内容的数据帧。 但是,当斑点名称以下划线(_)开头时,例如:“ _ gKXakdjQkid9Qi25qJiWw”,则数据帧为空。 如果我在不使用spark的情况下以其他方式阅读,那么将正确生成斑点。 请注意,上述两个Blob名称都存在于容器中。也没有故障日志,错误,警告。我正在Databricks中运行它。

0 个答案:

没有答案