备份hadoop中的源数据文件

Question

我希望100个数据文件采用XML，Excel，分隔格式，我每周都会转换为AVRO。您是否建议在文件夹备份下的HDFS中维护原始格式的源文件备份，或者在本地文件系统下维护不是HDFS的文件夹。

文件来自FTP。

Answer 1

转换过程成功后，由于HDFS托管AVRO文件，因此假设您根据需要设置复制因子，它会负责备份。此时，不需要将源文件保存在HDFS中。可能是磁带备份是此时的最佳选择。