Spark:正在写入的加载文件

时间:2018-06-04 12:24:01

标签: csv apache-spark atomicity

在Spark批处理中,我以通常的方式加载CSV文件:

val offerDf = spark.read
  .option("header", "true")
  .option("delimiter", ";")
  .csv("myfile.csv")

在另一个Linux批处理中(不在我的业务中),该文件可能会被写入 - 与我读取它同时是两个周期性任务。

那么有没有办法确保我在阅读时不会修改CSV文件(除了安排任务,因为它们的持续时间未知)?

0 个答案:

没有答案