需要使用trigger.Once（）元数据

Question

嗨，老兄们，对于经验丰富的家伙们来说，这是一个简单的问题。 我有一个火花作业，读取路径下的文件。 即使源不是真正的流，而只是其中包含一堆文件的文件夹，我仍想使用结构化流。

我的问题是否可以为此使用trigger.Once（）。如果是的话，我该如何触发。一旦识别出新文件。

我在笔记本电脑上进行了尝试，第一次运行会读取所有内容，但是当我再次开始工作时，在此期间写入的文件根本无法识别和处理。

我的方法如下：

NULL

Answer 1

如果从文件中读取文件，这似乎仅在文件由Data Bricks写入Delta的情况下有效。