Hector的批量突变与使用Hadoop作业将数据加载到Cassandra?

时间:2011-08-16 14:13:28

标签: hadoop cassandra hector

有人可以强调Hector的批量变异的利弊,并使用Hadoop作业将数据加载到Cassandra中吗?

我知道在Hector你可以做类似以下的事情:

mutator.addInsertion(...);
mutator.execute();

在Hadoop中,您可以使用MR作业将数据加载到Cassandra中。

我正在寻找使用或不使用它们的原因。谢谢!

1 个答案:

答案 0 :(得分:2)

如果数据源当前不在hadoop(或hbase)中,我建议只使用如上所述的Mutator的多线程加载器来减少移动部件的数量。

这个要点已过时,但方法类似: https://gist.github.com/397574

如果您想了解更多细节,请与我们联系。