使用Spark Streaming 1.6阅读子文件夹

时间:2019-11-12 20:57:37

标签: java apache-spark bigdata

我正在读取写入分区JSON文件的目录,例如 auto2.0 / databases / ss_aut_ctc_dev_b.db / partition = 20190311 / files ,但是当消息到达另一个分区时Spark无法看到这个文件。

我使用以下功能进行读取:

JavaDStream dStream = ssc.textFileStream(path);

我正在经历的路径是“ auto2.0 / databases / ss_aut_ctc_dev_b.db / *”

但是spark无法读取到达的任何内容并将其保存在某些分区文件夹中。

我正在使用带有Java的Spark 1.6。

谁能告诉我spark是否可以自动读取这些子文件夹

0 个答案:

没有答案