如何检查是否已完成向HDFS的文件传输

Question

我正在将文件从其他脚本复制到HDFS。我不知道文件传输是否完成，因为其他系统正在将文件传输到HDFS。我想在文件复制完成后立即执行下一步操作。该如何执行？

Answer 1

在具有一系列命令的情况下，最好建议开发一个管道，该管道还可以插入任何错误处理例程或在需要时发出警报例程。

您是否在类似的生态系统中尝试过Apache Oozie / Airflow或工具？

使用这样的工具集，您可以将第一个任务定义为副本，然后再将其他任何任务定义为行。