Spark：检查镶木地板写入是否成功

Question

我有一个Spark 1.6.2（在Scala上）进程写入一个镶木地板文件，当它完成时，它应该再次加载为DataFrame。是否有一个Spark方法来检查DataFrameWriter成功完成并仅在此之后恢复？我尝试过使用Future和on Complete，但它与Spark无关（SparkContext关闭）。

我假设我可以在文件夹中查找_SUCCESS文件并循环直到它存在，但是如果进程卡住了，我将会有一个无限循环..