提高性能cassandra的散装量

Question

我们每秒生成240,000条记录并保存在csv文件中。现在我们想在Cassandra中加载它们 我使用了3种方法：

1. sstableloader：我们生成sstable并使用sstableloader命令加载它们，但是这个方法需要很长时间才能完成，每秒的行数是：15,000

2. JmxBulkLoader：此方法优于sstableloader。行数/秒是17,000

3. 复制：使用时不适合批量和崩溃

系统配置：

  

CPU：Intel（R）Xeon（R）CPU E5-2697 v3 @ 2.60GHz。 56个核心
   RAM：64 G
   硬盘：

1TB local for cassandra nodes and 
10TB in a network drive (data files stored in this hard)

我们这台机器有2个节点。

感谢。

Answer 1

您可以从csv文件或直接从源获取记录，并使用Java的ExecuteAsync方法将其加载到Cassandra中。

看看博客： - https://blog.knoldus.com/2017/01/31/cassandra-tips-and-techniques/