如何使用Hadoop中的Sqoop将非结构化数据直接从Web服务器复制到HDFS。 (不将数据复制到本地文件系统中)
答案 0 :(得分:1)
From webserver to HDFS you need to use Flume or anyother appropriate tool. Sqoop is used to import/export from RDBMS.
答案 1 :(得分:0)
既然你已经说过要成为Web服务器的源和非结构化的数据,那么你应该寻找 Flume !!
Flume是一种分布式,可靠且可用的服务 有效地收集,聚合和移动大量日志 数据
如果数据源是RDBMS并且数据是结构化的,那么Sqoop将符合该法案。
Sqoop旨在有效地在两者之间传输批量数据 Apache Hadoop和结构化数据存储,例如关系数据库。