Question

我有一个看起来像这样的DataFrame。我想在date_time字段的那一天进行操作。

root
 |-- host: string (nullable = true)
 |-- user_id: string (nullable = true)
 |-- date_time: timestamp (nullable = true)

我尝试添加一列来提取日期。到目前为止，我的尝试都失败了。

df = df.withColumn("day", df.date_time.getField("day"))

org.apache.spark.sql.AnalysisException: GetField is not valid on fields of type TimestampType;

这也失败了

df = df.withColumn("day", df.select("date_time").map(lambda row: row.date_time.day))

AttributeError: 'PipelinedRDD' object has no attribute 'alias'

知道如何做到这一点？

Answer 1

您可以使用简单的map：

df.rdd.map(lambda row:
    Row(row.__fields__ + ["day"])(row + (row.date_time.day, ))
)

另一种选择是注册一个函数并运行SQL查询：

sqlContext.registerFunction("day", lambda x: x.day)
sqlContext.registerDataFrameAsTable(df, "df")
sqlContext.sql("SELECT *, day(date_time) as day FROM df")

最后你可以像这样定义udf：

from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType

day = udf(lambda date_time: date_time.day, IntegerType())
df.withColumn("day", day(df.date_time))

修改：

实际上如果使用原始SQL day函数已经定义（至少在Spark 1.4中），那么你可以省略udf注册。它还提供了许多不同的日期处理功能，包括：

类似year，month，dayofmonth

的吸气剂

日期算术工具，例如date_add，datediff

解析器，如from_unixtime和格式化程序，如date_format

也可以使用简单的日期表达式，如：

current_timestamp() - expr("INTERVAL 1 HOUR")

这意味着您可以构建相对复杂的查询而无需将数据传递给Python。例如：

df = sc.parallelize([ (1, "2016-01-06 00:04:21"), (2, "2016-05-01 12:20:00"), (3, "2016-08-06 00:04:21") ]).toDF(["id", "ts_"]) now = lit("2016-06-01 00:00:00").cast("timestamp") five_months_ago = now - expr("INTERVAL 5 MONTHS") (df # Cast string to timestamp # For Spark 1.5 use cast("double").cast("timestamp") .withColumn("ts", unix_timestamp("ts_").cast("timestamp")) # Find all events in the last five months .where(col("ts").between(five_months_ago, now)) # Find first Sunday after the event .withColumn("next_sunday", next_day(col("ts"), "Sun")) # Compute difference in days .withColumn("diff", datediff(col("ts"), col("next_sunday"))))

PySpark从TimeStampType列向DataFrame添加一列

1 个答案: