标签: csv apache-spark atomicity
在Spark批处理中,我以通常的方式加载CSV文件:
val offerDf = spark.read .option("header", "true") .option("delimiter", ";") .csv("myfile.csv")
在另一个Linux批处理中(不在我的业务中),该文件可能会被写入 - 与我读取它同时是两个周期性任务。
那么有没有办法确保我在阅读时不会修改CSV文件(除了安排任务,因为它们的持续时间未知)?