Question

我们目前正在单个节点群集上与Cassandra合作，以测试其上的应用程序开发。现在，我们有一个非常庞大的数据集，包含大约70万行文本，我们希望将其转储到Cassandra中。

我们尝试了以下所有方法：

使用python Cassandra驱动程序逐行插入
Cassandra的复制命令
将sstable的压缩设置为无

我们已经探索了sstable批量加载器的选项，但我们没有适当的.db格式。我们要加载的文本文件有70M行，如下所示：

2f8e4787-eb9c-49e0-9a2d-23fa40c177a4    the magnet programs succeeded in attracting applicants and by the mid-1990s only #about a #third of students who #applied were accepted.

我们打算插入的列系列具有以下创建语法：

CREATE TABLE post (
  postid uuid,
  posttext text,
  PRIMARY KEY (postid)
) WITH
  bloom_filter_fp_chance=0.010000 AND
  caching='KEYS_ONLY' AND
  comment='' AND
  dclocal_read_repair_chance=0.000000 AND
  gc_grace_seconds=864000 AND
  index_interval=128 AND
  read_repair_chance=0.100000 AND
  replicate_on_write='true' AND
  populate_io_cache_on_flush='false' AND
  default_time_to_live=0 AND
  speculative_retry='99.0PERCENTILE' AND
  memtable_flush_period_in_ms=0 AND
  compaction={'class': 'SizeTieredCompactionStrategy'} AND
  compression={};

问题：将数据加载到一个简单的列系列中需要永远 - 对于插入的30M线路，需要5小时。我们想知道是否有任何方法可以加快这一点，因为在我们的服务器上加载到MySQL的相同数据的70M行的性能大约需要6分钟。

我们想知道我们是否错过了什么？或者，如果有人能指出我们正确的方向？

非常感谢提前！

Answer 1

sstableloader是将数据导入Cassandra的最快方法。你必须编写代码来生成sstables，但是如果你真的关心速度，这将为你带来最大的收益。

这篇文章有点陈旧，但基本知识仍然适用于generate the SSTables

如果你真的不想使用sstableloader，你应该能够通过并行插入来加快速度。单个节点可以同时处理多个连接，您可以扩展Cassandra集群以提高吞吐量。

Answer 2

我有两个节点Cassandra 2.？簇。每个节点是I7 4200 MQ笔记本电脑，1 TB HDD，16 GB RAM）。使用copy命令导入了近50亿行。每个CSV文件大约63 gig，大约2.75亿行。大约需要8-10个小时来完成导入/每个文件。

每秒大约6500行。

YAML文件设置为使用10 GB的RAM。 JIC帮助。

Cassandra：快速加载大数据

2 个答案: