将本地文件复制到HDFS时发生Talend问题

Question

您好我想知道如何从源文件系统（本地文件系统）将文件复制到HDFS，如果源文件已经复制到HDFS，那么如何使用Talend消除或忽略要在HDFS中再次复制的文件。

由于 Venkat

Answer 1

要将文件从本地文件系统复制到HDFS，如果您有大数据的Talend，则需要使用tHDFSPut组件。如果您使用Talend进行数据集成，则可以使用右侧tSystem轻松使用command组件。

为避免重复文件，您需要在RDBMS中创建一个表并跟踪所有复制的文件。每次作业开始复制文件时，都应检查表中是否已存在。