使用Spark Cassandra连接器处理异常

时间:2017-10-24 16:53:22

标签: scala apache-spark cassandra spark-streaming

我正在使用spark-cassandra-connector并使用spark来保存cassandra上的数据,但是我在某些插页上有一些超时,我想继续插入批处理中的其他行,如果它可以重试超时后来。

val ssc = new StreamingContext(conf, Seconds(args(4).toInt))

ssc.textFileStream(args(3))
      .filter(line => !line.startsWith("S"))
      .cache()
      .map(line => new UserData().init(line))
...
.saveToCassandra(...)

0 个答案:

没有答案