如何增加cassandra磁盘I / O.

Question

我在AWS平台上的Cassandra集群中有3个节点。我注意到，在任何由spark执行的任务/任务中，cassandra的I / O速率（通过收集到石墨到grafana测量）非常低 - 磁盘读取操作的最大数量/秒和磁盘写入操作/秒为75。

这似乎是一个限制问题...那么我怎样才能增加cassandra磁盘I / O速率？

Answer 1

除了潜在的环境问题，如果您使用spark-cassandra-connector，您可以调整写入吞吐量设置，以查看是否可以实现更高的磁盘I / O.您可以使用http://enable-cors.org/server_wcf.html调整批量大小，批量级别（即通过分区或副本集），以每个核心mb写入吞吐量，每个火花任务的并发批次等。

调用saveToCassandra，saveAsCassandraTable等时，您可以将writeConf作为参数传递，即：

rdd.saveToCassandra(keyspace, table, writeConf=WriteConf(...))

否则，您可以通过设置WriteConf中定义的属性来配置SparkConf。例如，配置spark.cassandra.output.concurrent.writes将覆盖每个任务的默认并发写入次数。