如何在Hbase MapReduce程序中自动生成RowId

时间:2012-09-12 13:08:24

标签: hadoop mapreduce hbase

我需要将数据集文件加载到hbase表中。我用Google搜索了一些示例,我尝试读取文件并将其加载到Hbase中。但只有第一行正在读取。只有一行数据正在读取,我需要读取所有数据,我不知道我哪里出错了 我有这种格式的文件

year  class    days   mm   
   1964   9     20.5     8.8          
   1964  10     13.6     4.2      
   1964  11     11.8     4.7     
   1964  12      7.7     0.1       
   1965   1      7.3     0.8       
   1965   2     6.5     0.1         
   1965   3     10.8     1.4         
   1965   4     13.2     3.5         
   1965   5     16.1     7.0         
   1965   6     19.0     9.2          
   1965   7     18.7    10.7       
   1965   8     19.9    10.9          
   1965   9      16.6     8.2 

请任何人纠正我,我出错了,我需要加载文件中包含的所有数据,但我只能加载第一行数据

1 个答案:

答案 0 :(得分:0)

https://github.com/imyousuf/smart-dao/tree/hbase/smart-hbase/hbase-auto-long-rowid-incrementor/没有测试,但似乎是你正在寻找的。

另外,请查看Hbase auto increment any column/row-key

  

在HBase中不推荐单行增加行键,请参阅   这个参考:http://hbase.apache.org/book/rowkey.design.html,   p.6.3.2。实际上,使用全局排序的行键会导致所有行   分布式应用程序的实例写入同一区域,   这将成为一个瓶颈。