需要帮助将大数据插入cassandra

时间:2014-12-14 06:43:25

标签: cassandra

我需要在表格中插入大排(大约100万行),但速度很慢:(我不知道如何快速添加,有人知道吗?
请问你能帮帮我吗!我使用Apache Cassandra 2.1
这是批处理脚本:

mediafire (dot) com (forward slash) view (forward slash) b63lw6rkpkvqbzh (forward slash) shell.sh

2 个答案:

答案 0 :(得分:0)

您可以并行化工作,因此将脚本划分为多个子作业,并针对不同的节点运行它们(第二个参数传递给cqlsh)。每个节点都将成为协调器,如果你有一个好的分区方案,写任务将在所有节点之间平均分配。

如果你真的需要将“大数据”插入到Cassandra集群中,请考虑在Hadoop上使用MapReduce或Apache Spark(使用spark-cassandra-connector)。

答案 1 :(得分:0)

如果你有文件中的所有行,那么我建议你使用cassandra copy命令作为描述here,或者你可以使用描述here.的批处理命令