Spark-phoenix:如何在给定的日期范围内获取数据

时间:2017-11-17 11:40:15

标签: apache-spark phoenix

我可以使用phoenix-spark连接器连接到凤凰城并从凤凰城获取数据。但是我得到了所有的表格数据。我想在两个日期范围之间获取数据。为此,我正在使用

val configuration = new Configuration()
    configuration.set("hbase.zookeeper.quorum","host:2181")
    val spark = SparkSession.builder().appName("SparkSessionZipsExample").master("local").getOrCreate()
    val df = spark.sqlContext.phoenixTableAsDataFrame("BGALLSALES", Array("DIVISION","SECTION","BILLDATE","ADMSITE_CODE"),predicate = Some("BILLDATE <TO_TIMESTAMP('2017-01-03 00:00:00')"),conf = configuration)

它可以工作,但它为我提供了表格中的所有数据,这对于加载spark数据帧中的所有数据并不好。有一种方法可以获得两个范围之间或更小或更多范围内的数据

0 个答案:

没有答案