当即使对于单个记录发生任何可能的错误时,Spark-cassandra-connector也会停止吗?

时间:2018-08-07 05:41:57

标签: apache-spark cassandra spark-cassandra-connector

我正在使用cassandra 2.1.13。

如果我的RDD中有100万条记录,并且我使用SCC(spark-cassandra-connector)将此RDD保存到cassandra表中。

让我们说一下,如果在过程中插入100万个记录中的一个记录时发生错误(可能是任何错误),

SCC会停止整个过程吗?

主要目的是识别错误(不让过程继续出现错误)。我假设SCC在内部使用未记录的批次。

提示:我的用例与数据回滚或修改多少数据无关。只是想知道该过程是成功还是失败。

正在使用的依赖项:

spark-cassandra-connector-unshaded_2.11 spark-core_2.11

0 个答案:

没有答案