Question

我正在尝试从cassandra获取ttl列，但到目前为止我无法使它工作。

这是我到目前为止尝试过的：

SparkSession sparkSession = SparkSession.builder()
        .appName("Spark Sql Job").master("local[*]")
        .config("spark.sql.warehouse.dir", "file:///c:/tmp/spark-warehouse")
        .config("spark.cassandra.connection.host", "localhost")
        .config("spark.cassandra.connection.port", "9042")
        .getOrCreate();

SQLContext sqlCtx = sparkSession.sqlContext(); 

Dataset<Row> rowsDataset = sqlCtx.read()
        .format("org.apache.spark.sql.cassandra")
        .option("keyspace", "myschema")
        .option("table", "mytable").load();

rowsDataset.createOrReplaceTempView("xyz");   
rowsDataset = sparkSession.sql("select ttl(emp_phone) from vouchers");   
rowsDataset.show();

Answer 1

来自spark-cassandra-connector文档：

select方法允许查询表单元的TTL和时间戳。

使用Select检索TTL和时间戳的示例

val row = rdd.select("column", "column".ttl, "column".writeTime).first
val ttl = row.getLong("ttl(column)")
val timestamp = row.getLong("writetime(column)")

可以通过在列上调用as为选定的列赋予别名选择器，在获取TTL和时间戳。

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/3_selection.md

Spark从Cassandra获取ttl列

1 个答案: