我有一个带有列(类型为DATE)的Phoenix表
DATE数据类型。格式为yyyy-MM-dd hh:mm:ss,日期和时间部分都保持精确到毫秒级。
另一方面,使用PySpark,我试图加载此表,因为文档说...
df = sqlContext.read \
.format("org.apache.phoenix.spark") \
.option("table", "MYTABLE") \
.option("zkUrl", "localhost:2181") \
.load()
嗯,问题是创建的DataFrame的列是pyspark.sql.type.DateType(),yyyy-MM-dd类型,我已经失去了hh-MM-ss的准确性。有什么建议吗?
如果我将Phoenix列定义为TIMESTAMP,PySpark中的映射是TimestampType(),但我不想将列定义为TIMESTAMP,我不需要TIMESTAMP准确度。
我想将列定义为Phoenix列中的DATE和PySpark中的TimeStampType(),这可能吗?