我尝试使用cassandra-loader将CSV文件中的数据导入cassandra: https://github.com/brianmhess/cassandra-loader
Cassandra-version:3.1
将cassandra中的数据导出到CSV文件大约需要20分钟,这是可以的。 使用此命令导入数据: cassandra-loader -f"文件路径" -host" host" -schema" scema" -numThreads 40需要7个多小时。 如果我试图增加-batchSize超过~1.5k并且超过50k比我得到一个错误。
Error inserting: Batch too large
com.datastax.driver.core.exceptions.InvalidQueryException: Batch too large
有时我会收到错误,例如"服务器响应超时"
Timed out waiting for server response
com.datastax.driver.core.exceptions.OperationTimedOutException: [] Timed out waiting for server response
at com.datastax.driver.core.RequestHandler$SpeculativeExecution.onTimeout(RequestHandler.java:772)
我如何解决它并加快速度?
或许还有另一种方法可以将快速数据从CSV导入到cassandra