Question

我在scala中使用spark-cassandra-connector，我想将一些条目上传到表中。我已经看到了使用python驱动程序的会话构造的以下上传方法：

session.execute(
    """
    INSERT INTO users (name, credits, user_id)
    VALUES (%s, %s, %s)
    """,
    ("John O'Reilly", 42, uuid.uuid1())
)

spark-connector是否支持类似的方式来解析上传中的参数，如果是，那么构造的外观如何？当我测试上述方法时，它不起作用。

Answer 1

Spark Cassandra Connector主要用于使用Spark操纵Cassandra数据。这意味着如果您没有使用Dataset，Dataframe或RDD这些词，则可能不需要使用Spark Cassandra Connector。

您在上面使用的格式在Java驱动程序中有效，该驱动程序作为Spark Cassandra连接器的一部分包含在内，可以通过CassandraConnector包装器进行访问。正如Documentation

中所述

import com.datastax.spark.connector.cql.CassandraConnector

CassandraConnector(conf).withSessionDo { session =>
  session.execute("CREATE KEYSPACE test2 WITH REPLICATION = {'class': 'SimpleStrategy', 'replication_factor': 1 }")
  session.execute("CREATE TABLE test2.words (word text PRIMARY KEY, count int)")
}

通过解析参数上传Cassandra-Spark Connector

1 个答案: