在SparkSession.SQL中执行Prepared和Batch语句

Question

如何使用SparkSession.SQL在Java中对Cassandra执行Prepared和Batch语句？ 我正在使用Spark 2.1

Answer 1

简短回答：批处理和准备语句自动发生。

答案很长：SparkSql通过Spark Cassandra Connector - Cassandra Datasource工作。数据源关系定义了如何从Cassandra读取和写入数据。这意味着通过SparkSql或Dataset api进行的任何写操作都将使用Spark Cassandra Connector附带的所有功能。

所有写入操作都将使用预准备语句和分区键批次完成。要调整批处理的完成方式（或任何其他写入配置），您可以更改此处列出的参数

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/reference.md#write-tuning-parameters

由于SparkSql仅通过此关系进行通信，因此无法使用Cassandra特定的概念，如Batching或Prepared语句。