将数据导出到cassandra

时间:2017-09-07 10:43:39

标签: cassandra cassandra-3.0

我尝试使用cassandra-loader将CSV文件中的数据导入cassandra: https://github.com/brianmhess/cassandra-loader

Cassandra-version:3.1

将cassandra中的数据导出到CSV文件大约需要20分钟,这是可以的。 使用此命令导入数据: cassandra-loader -f"文件路径" -host" host" -schema" scema" -numThreads 40需要7个多小时。 如果我试图增加-batchSize超过~1.5k并且超过50k比我得到一个错误。

Error inserting: Batch too large
com.datastax.driver.core.exceptions.InvalidQueryException: Batch too large

有时我会收到错误,例如"服务器响应超时"

Timed out waiting for server response
com.datastax.driver.core.exceptions.OperationTimedOutException: [] Timed out waiting for server response
    at com.datastax.driver.core.RequestHandler$SpeculativeExecution.onTimeout(RequestHandler.java:772)

我如何解决它并加快速度?

或许还有另一种方法可以将快速数据从CSV导入到cassandra

0 个答案:

没有答案
相关问题