我有一个每天都会添加的本地文件，所以我想将这些新添加的文件同步到hdfs。
我尝试使用以下命令，但是所有命令都是完整副本，我想要一些仅复制新添加文件的命令
$ hdfs dfs -cp /home/user/files/* /data/files/*
答案 0 :(得分：0)
您可以使用hsync。 https://github.com/alexholmes/hsync
它是Alex的自定义程序包，可能对开发人员有用，但可能很难在生产环境中部署。我正在寻找类似的解决方案，但目前看来，这是最接近的。另一种选择是编写自己的Shell脚本以比较源/目标文件的时间，然后仅覆盖较新的文件。