我尝试使用flume目录假脱机程序源和HDFS接收器。但这不符合我的目的,因为文件由Flume读取,然后作为部分文件写入HDFS,可以按大小/时间滚动(如果我错了,请纠正我)。
是否有一个工具可以连续执行像放在假脱机目录中的所有文件上的HDFS一样的工具?
答案 0 :(得分:-1)
如果我正确地提出了您的问题,那么您有一个并且您正在获取文件并且您要将文件转移到 HDFS 而不读取它并且 HDFS copyFromLocal 将解决您的问题,然后您只需要有一个逻辑可以返回目录中的最新文件并运行 CopyFromLocal 命令将其复制到 HDFS