如何仅在Spark中读取新文件

Question

我正在使用spark和scala读取csv文件，这些文件来自另一个spark流工作。
我只需要阅读新文件？

val df= spark  
.read // 
.schema(test_raw)
.option("header", "true")    
.option("sep", ",")   
.csv(path).toDF().cache() 
event3.registerTempTable("test")

Answer 1

我通过在这样的数据帧上添加检查点解决了该问题

val df= spark  
.read // 
.schema(test_raw)
.option("header", "true")    
.option("sep", ",")   
.csv(path).toDF().checkpoint().cache()