我有一个带有某些列的数据框:
+------------+--------+----------+----------+
|country_name| ID_user|birth_date| psdt|
+------------+--------+----------+----------+
| Россия|16460783| 486|1970-01-01|
| Россия|16467391| 4669|1970-01-01|
| Россия|16467889| 6861|1970-01-01|
| Казахстан|16468013| 5360|1970-01-01|
| Россия|16471027| 6311|1970-01-01|
| Россия|16474162| 5567|1970-01-01|
| Россия|16476386| 4351|1970-01-01|
| Россия|16481067| 3831|1970-01-01|
| Казахстан|16485965| -2369|1970-01-01|
| Германия|16486027| 5864|1970-01-01|
+------------+--------+----------+----------+
only showing top 10 rows
我需要在“出生日期”前加上“ psdt”。我写了这段代码,但是(sf.date_add)不起作用:
resultbirthDF =(
resultDF
.select(sf.col("country_name"),
sf.col("ID_user"),
sf.col("birth_date"),
sf.lit(past_datetr).alias("psdt")
)
.withColumn("birth_datetrue",sf.date_add(sf.to_date(sf.col("psdt")),sf.col("birth_date")))
).show(10)
'Column' object is not callable
Traceback (most recent call last):
File "/volumes/disk1/yarn/local/usercache/livy/appcache/application_1573843665329_0786/container_e05_1573843665329_0786_01_000001/pyspark.zip/pyspark/sql/functions.py", line 1006, in date_add
return Column(sc._jvm.functions.date_add(_to_java_column(start), days))
如何解决这个问题?
答案 0 :(得分:2)
来自Pyspark文档
pyspark.sql.functions.date_add(开始,天)
Returns the date that is days days after start >>> df = spark.createDataFrame([('2015-04-08',)], ['dt']) >>> df.select(date_add(df.dt, 1).alias('next_date')).collect() [Row(next_date=datetime.date(2015, 4, 9))]
尝试将您的代码更改为sf.date_add(sf.to_date(sf.col("psdt")), 10)
,看看是否可以添加10天。 date_add
期望第一个参数为一列,第二个参数为整数(表示要添加到该列的天数)。
您可以完全使用UDF来执行您想做的事情,但是可以使用SQL表达式,如下所示:
df.withColumn("birth_datetrue", expr("date_add(psdt, birth_date)"))
示例输出:
df.withColumn("new_dt", F.expr("date_add(dt, add)")).show()
+----------+---+----------+
| dt|add| new_dt|
+----------+---+----------+
|2015-04-08| 1|2015-04-09|
|2015-04-09| 2|2015-04-11|
|2015-04-10| 3|2015-04-13|
+----------+---+----------+