将数据从MySQL传输到HBase

时间:2014-02-04 01:50:43

标签: python mysql hadoop hbase

我正在尝试使用Python(而非sqoop)将数据从MySQL插入HBase。在MySQL中有一个名为tblTest的表,其中包含以下模式和数据:

create table tblTest(idTest int, idObj int, sName varchar(25));

insert into tblTest values (202, 7678, 'sMfg1'), (203, 7679, 'sMfg2'), (204, 7680, 'sMfg3');

我需要创建一个HBase表:

> create 'tblHTest', 'cf'

现在,我如何将数据插入HBase表(你能用python代码解释一下)吗?请相应地更正我的HBase架构。我是Python和HBase的新手。

提前谢谢。

1 个答案:

答案 0 :(得分:0)

有一些方法可以从Python连接到HBase,其中一个(我使用的)是Thrift。

看看Thrift API,它不仅用于python,还用于PHP,perl,ruby和许多其他语言。

您将需要运行Thrift服务器(包含在HBase中,转到第二版的thrift)

$HBASE_DIR/bin/hbase start thrift2

下载并安装thrift以及所有必要的软件包,例如python dev,用于生成python文件,然后生成它们:

thrift --gen py path-to/Hbase.thrift

然后,您可以在python代码中下载并使用这些类