我目前正在从一个目录中读取文件，该文件将一直接收到一天结束，新文件将从明天开始流入另一个目录。这每天都会发生。我在这里的要求是设置一个流应用程序，该应用程序将读取这些目录中的文件并每隔一天开始查找新目录。
val data = spark.readStream.option("sep",",").schema(schema).csv("/tmp/20190517/")
上面的代码将读取流入上述目录的所有内容。在今天的11 59 PM之后，此目录将不再接收任何文件，并且新目录/ tmp / 20190518将开始接收文件，并且应用程序必须从该新目录读取。为此需要解决方案。