Phoenix Spark驱动程序映射为DateType()和DATE PHOENIX列

时间:2017-02-10 12:02:57

标签: pyspark phoenix pyspark-sql

我有一个带有列(类型为DATE)的Phoenix表

  

DATE数据类型。格式为yyyy-MM-dd hh:mm:ss,日期和时间部分都保持精确到毫秒级。

另一方面,使用PySpark,我试图加载此表,因为文档说...

df = sqlContext.read \
.format("org.apache.phoenix.spark") \
.option("table", "MYTABLE") \
.option("zkUrl", "localhost:2181") \
.load()

嗯,问题是创建的DataFrame的列是pyspark.sql.type.DateType(),yyyy-MM-dd类型,我已经失去了hh-MM-ss的准确性。有什么建议吗?

如果我将Phoenix列定义为TIMESTAMP,PySpark中的映射是TimestampType(),但我不想将列定义为TIMESTAMP,我不需要TIMESTAMP准确度。

我想将列定义为Phoenix列中的DATE和PySpark中的TimeStampType(),这可能吗?

0 个答案:

没有答案