如何在批量hbase导入后从sqoop获取HFile?

时间:2015-04-28 16:47:19

标签: hadoop hbase sqoop

我使用sqoop进行批量hbase导入。我在sqoop中使用此选项:--hbase-bulkload。 Sqoop将生成HFiles并将hfiles导入我的hbase。我可以验证数据是否存在,并且从sqoop日志中,它尝试从

加载hfile
INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49f7a7e512b7 first=\x00\x00\x00\x00\x00\x01\xDE1\xF8 last=\x00\x00\x00\x00\x00\x01\xEB:L

然而,工作完成后。我试着看到文件,它不再存在了。我使用这个hadoop命令来查看文件:

hadoop fs -ls /tmp/sqoop/data

HFile是否存放在其他地方?或者可以选择在导入作业后保留它吗?

由于

1 个答案:

答案 0 :(得分:0)

我已经使用sqoop本身从oracle将数据导入hbase。导入过程完成后,该文件存储在hdfs文件系统中

/home/USERNAME/FILENAME(TABLENAME)    

我认为你的Hfile也存储了相同的概念,一旦检查它就更好