Spark Cassandra连接器执行慢速插入更新

时间:2020-05-04 09:45:38

标签: apache-spark cassandra spark-cassandra-connector

我可以看到使用Spark Cassandra连接器(spark-cassandra-connector-2.11 ver:2.4.3)在Cassandra中插入的行数非常少(10-15行)非常慢。 保存在Cassandra中之前,整个执行逻辑花费了1分钟(包括将数据帧保存在Hive中),但大部分时间都保存在3个Cassandra表中,并在另一个表的Counter Type列上进行了更新。 Total Job Execution Time in Yarn Cluster

Time taking in Cassandra Saving for each insert

0 个答案:

没有答案