我正在读取写入分区JSON文件的目录,例如 auto2.0 / databases / ss_aut_ctc_dev_b.db / partition = 20190311 / files ,但是当消息到达另一个分区时Spark无法看到这个文件。
我使用以下功能进行读取:
JavaDStream dStream = ssc.textFileStream(path);
我正在经历的路径是“ auto2.0 / databases / ss_aut_ctc_dev_b.db / *”
但是spark无法读取到达的任何内容并将其保存在某些分区文件夹中。
我正在使用带有Java的Spark 1.6。
谁能告诉我spark是否可以自动读取这些子文件夹