AssertionError:col应该是Column

时间:2017-12-20 10:29:59

标签: python apache-spark pyspark apache-spark-sql

如何在PySpark中创建新列并使用今天的日期填充此列?

这就是我的尝试:

import datetime
now = datetime.datetime.now()
df = df.withColumn("date", str(now)[:10])

我收到此错误:

  

AssertionError:col应为Column

1 个答案:

答案 0 :(得分:17)

  

如何在PySpark中创建新列并使用今天的日期填充此列?

已有功能:

from pyspark.sql.functions import current_date

df.withColumn("date", current_date().cast("string"))
  

AssertionError:col应为Column

使用文字

from pyspark.sql.functions import lit

df.withColumn("date", lit(str(now)[:10]))