使用Apache Spark读取CSV文件不起作用

时间:2018-06-21 06:15:32

标签: apache-spark databricks

我正在使用apache spark读取csv文件,我发现如果文件名以_ char开头,则加载的数据集将为空,只是我通过删除_来更改文件名,该文件已正确加载。

DataSet<Row> ds = spark.read().format("csv").csv("C:\\x\\y\\*.csv");

如果文件夹y包含名为_filename.csv ds的文件为空。我只是通过删除_ ds加载来更改y文件夹的文件名。

我的问题是如何避免这种情况?我怎么知道类似的情况会导致这种情况?

0 个答案:

没有答案