从Spark中的Date到Varchar

时间:2017-02-08 16:44:59

标签: sql pandas apache-spark apache-spark-sql

尝试使用Spark SQL从SQL表中选择数据并将其传输到Pandas。这样做:

dataset_date=sqlContext.sql('''
Select a.ID, a.STAT, a.Date
from TABLE a''' 
) 
df_date=dataset_date.toPandas()
df_date.head()

列a.Date具有日期格式,我想将其切换为Varchar。我应该在SparkSQL中使用什么功能来做到这一点?

1 个答案:

答案 0 :(得分:1)

您可以使用[ { name: "a", count: 2 }, { name: "b", count: 2 }, { name: "c", count: 3 } ]

pyspark.sql.functions.date_format