我使用sqoop进行批量hbase导入。我在sqoop中使用此选项:--hbase-bulkload
。 Sqoop将生成HFiles并将hfiles导入我的hbase。我可以验证数据是否存在,并且从sqoop日志中,它尝试从
INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49f7a7e512b7 first=\x00\x00\x00\x00\x00\x01\xDE1\xF8 last=\x00\x00\x00\x00\x00\x01\xEB:L
然而,工作完成后。我试着看到文件,它不再存在了。我使用这个hadoop命令来查看文件:
hadoop fs -ls /tmp/sqoop/data
HFile是否存放在其他地方?或者可以选择在导入作业后保留它吗?
由于
答案 0 :(得分:0)
我已经使用sqoop本身从oracle将数据导入hbase。导入过程完成后,该文件存储在hdfs文件系统中
/home/USERNAME/FILENAME(TABLENAME)
我认为你的Hfile也存储了相同的概念,一旦检查它就更好