我在cassandra键空间中有一个名为ap_auditor的表。我想使用spark sql从表中删除数据。有人可以指导我怎么做吗?
我创建了用于查询名为trafficdata的cassandra表的spark会话。
spark = SparkSession.builder().appName("Simple Application").config(sparkConf).getOrCreate();
Dataset loadTraffic = spark.read().format(SPARK_CASSANDRA_SQL_FORMAT)
.options(ImmutableMap.of(TABLE, TRAFFIC_DATA_TABLE, KEYSPACE, APP_AUDITOR_KEYSPACE))
.load();
Dataset trafficCols= loadTraffic.select("attributes.bytes-from-client","attributes.bytes-from-server")
loadTrafficData= trafficCols.withColumnRenamed("bytes-from-client", "bytesIn");
loadTrafficData.registerTempTable("trafficdata");
我看到了一个命令deleteFromCassandra
,但这是针对rdd的。是否有数据集命令?