尝试使用Spark SQL从SQL表中选择数据并将其传输到Pandas。这样做:
dataset_date=sqlContext.sql('''
Select a.ID, a.STAT, a.Date
from TABLE a'''
)
df_date=dataset_date.toPandas()
df_date.head()
列a.Date具有日期格式,我想将其切换为Varchar。我应该在SparkSQL中使用什么功能来做到这一点?
答案 0 :(得分:1)
您可以使用[
{ name: "a", count: 2 },
{ name: "b", count: 2 },
{ name: "c", count: 3 }
]
:
pyspark.sql.functions.date_format