在spark streaming中，我想使用fileStream来监视目录。但是该目录中的文件是使用lz4压缩的。因此，以下代码未检测到新的lz4文件。如何检测这些新文件？
val list_join_action_stream = ssc.fileStream[LongWritable, Text, TextInputFormat](gc.input_dir, (t: Path) => true, false).map(_._2.toString)
我知道textFile函数可以读取.lz4格式的数据。但是我使用带有fileStream函数的spark streaming ...