如何通过PySpark在蜂巢表中添加当前日期作为分区

时间:2018-09-06 09:57:16

标签: pyspark-sql

df2= df1.map(lambda x:x.split(',')).map(lambda x:Row(ct_id = x[0],ct_name = x[1],ct_submeffdt = x[2],ct_submexpdt = x[3])
df = sqlc.createDataFrame(df2)
sqlc.sql("USE rajadev")
df.write.partitionBy('current_date').saveAsTable("rajadev.states_table")

如果我在current_date中将df2添加为current_date() = x[4],则创建了df2,但仅在列current_date中找不到表中的当前日期。可用。为什么?感谢您的帮助。

0 个答案:

没有答案