Question

我不太确定为什么我的代码会给出52作为答案：weekofyear("01/JAN/2017")。

有没有人对此有可能的解释？有更好的方法吗？

from pyspark.sql import SparkSession, functions
spark = SparkSession.builder.appName('weekOfYear').getOrCreate()
from pyspark.sql.functions import to_date

df = spark.createDataFrame(
    [(1, "01/JAN/2017"), (2, "15/FEB/2017")], ("id", "date")) 

df.show()
+---+-----------+
| id|       date|
+---+-----------+
|  1|01/JAN/2017|
|  2|15/FEB/2017|
+---+-----------+

计算一年中的一周

df=df.withColumn("weekofyear", functions.weekofyear(to_date(df["date"],"dd/MMM/yyyy")))

df.printSchema()

root
 |-- id: long (nullable = true)
 |-- date: string (nullable = true)
 |-- weekofyear: integer (nullable = true)

df.show()

“错误”如下所示：

+---+-----------+----------+
| id|       date|weekofyear|
+---+-----------+----------+
|  1|01/JAN/2017|        52|
|  2|15/FEB/2017|         7|
+---+-----------+----------+

Answer 1

如果星期几是星期一到星期四，weekofyear()似乎只会返回1月1日的1。

要确认，我在1900年到2018年期间创建了一个包含所有"01/JAN/YYYY"的DataFrame：

df = sqlCtx.createDataFrame(
    [(1, "01/JAN/{y}".format(y=year),) for year in range(1900,2019)],
    ["id", "date"]
)

现在让我们将其转换为日期，获取星期几，并计算weekofyear()的值：

import pyspark.sql.functions as f
df.withColumn("d", f.to_date(f.from_unixtime(f.unix_timestamp('date', "dd/MMM/yyyy"))))\
    .withColumn("weekofyear", f.weekofyear("d"))\
    .withColumn("dayofweek", f.date_format("d", "E"))\
    .groupBy("dayofweek", "weekofyear")\
    .count()\
    .show()
#+---------+----------+-----+
#|dayofweek|weekofyear|count|
#+---------+----------+-----+
#|      Sun|        52|   17|
#|      Mon|         1|   18|
#|      Tue|         1|   17|
#|      Wed|         1|   17|
#|      Thu|         1|   17|
#|      Fri|        53|   17|
#|      Sat|        53|    4|
#|      Sat|        52|   12|
#+---------+----------+-----+

注意，我使用Spark v 2.1，其中https://docs.microsoft.com/en-us/sql/t-sql/language-elements/case-transact-sql?view=sql-server-2017不接受格式参数，因此我必须使用to_date()中描述的方法将字符串转换为日期。

同样to_date()仅为：

返回1

1月2日，如果星期几是星期一到星期五。
1月3日，如果星期几是星期一到星期六。

更新

此行为与this answer定义一致。

weekofyear（）返回1月1日看似不正确的结果

1 个答案: