Sqoop - 是否可以在HDFS中导入平面文件

Question

我知道可以通过sqoop将RDBM的数据导入HDFS，但我想知道是否可以导入平面文件。

例如，是否可以从远程Linux文件系统导入文件？

感谢您的帮助。

Answer 1

为了将平面文件放入HDFS，不需要Sqoop，我也没有看到任何使用Sqoop的原因。只需尝试以下命令即可。 Here是相同的文档。

hadoop fs -put <src-linux-file-system> <target-hdfs-file-system>

Answer 2

答案是否定义使用sqoop导入平面文本文件，使用Flume导入

Answer 3

Sqoop不能用于将任何文件类型导入Hadoop。根据您对数据摄取到hadoop的时间要求（批量，近实时，实时），您可以选择fs -put（适用于宏批次），水槽或卡夫卡（适用于更近似的更新，如近实时）时间用例）。对于实时摄取，您可能需要先考虑内存，然后再考虑永久存储。在这种情况下，您可能需要使用一些工具，如风暴或火花流。