我有一个处理工作,它有很多中间的“事物”,它们都相互依赖,最终会产生某种输出。
过去我经常使用gmake来完成这项任务。
问题在于,这次'某些'东西'不是本地文件系统上的文件/目录。实际上它们是hadoop文件系统上的文件和hbase / mysql中的表。
到目前为止,我还没有办法让gmake拥有一个特殊的依赖项或目标(比如hadoop文件,数据库表等)。
我唯一想到的就是在本地磁盘上有一个脚本“镜像”hadoop / database / ...中的状态(空)文件。让gmake查看这些文件。
这种任务的首选解决方案是什么?