如何使用spark sql从cassandra中删除数据

时间:2017-03-13 15:28:24

标签: apache-spark cassandra

我在cassandra键空间中有一个名为ap_auditor的表。我想使用spark sql从表中删除数据。有人可以指导我怎么做吗?

我创建了用于查询名为trafficdata的cassandra表的spark会话。

spark = SparkSession.builder().appName("Simple Application").config(sparkConf).getOrCreate();

Dataset loadTraffic = spark.read().format(SPARK_CASSANDRA_SQL_FORMAT)
    .options(ImmutableMap.of(TABLE, TRAFFIC_DATA_TABLE, KEYSPACE, APP_AUDITOR_KEYSPACE))
    .load();

Dataset trafficCols= loadTraffic.select("attributes.bytes-from-client","attributes.bytes-from-server")

loadTrafficData= trafficCols.withColumnRenamed("bytes-from-client", "bytesIn");

loadTrafficData.registerTempTable("trafficdata");

我看到了一个命令deleteFromCassandra,但这是针对rdd的。是否有数据集命令?

0 个答案:

没有答案