Question

我需要得到一个月的工作日。但是，一周的开始日期应该是星期四。

数据在下面给出

目前，我的代码将开始日期指定为星期日。

df = df.withColumn("Week_Number",date_format(to_date("inv_dt", "yyyy-MM-dd"), "W"))

但是我希望一周从星期四开始

Answer 1

考虑创建一个用户定义函数（UDF）来处理特殊情况。

例如，下面的UDF处理特殊情况，即星期天不是星期日开始的时间。

参数start_day_of_week的整数为isoweekday，其中星期一为1，星期日为7：

from pyspark.sql.functions import udf

def week_number(date_str, start_day_of_week=7):
    @udf("long")
    def _week_number(date_str):
        from datetime import datetime, date
        d = datetime.strptime(date_str, '%Y-%m-%d')     # compatible with Python2
        wd_d1 = date(d.year, d.month, 1).isoweekday()
        offset = (wd_d1 - start_day_of_week + 7 ) % 7
        return (d.day - 1 + offset) // 7 + 1
    return _week_number(date_str)

注意：上面的代码已在PySpark（2.4.4）中的Python3（3.7.3）和Python（2.7.15）中进行了测试。默认情况下，PySpark从Python（2.7.15）开始。要使用Python3，请使用PYSPARK_PYTHON=python3 pyspark启动PySpark，或将export PYSPARK_PYTHON=python3添加到启动脚本中。

如果仅在Python3中使用UDF，则可以简单地使用d = date.fromisoformat(date_str)并仅从date导入datetime。

演示

考虑输入数据，例如：

from pyspark.sql.functions import *

inv_dt = [ '2018-09-{:02d}'.format(x) for x in range(1, 31) ]

# if with Pandas installed
import pandas as pd
df_pd = pd.DataFrame({'inv_dt':inv_dt})
df = spark.createDataFrame(df_pd)

# if without Pandas
from pyspark.sql.types import StringType
df = spark.createDataFrame(inv_dt, StringType()).withColumnRenamed('value', 'inv_dt')

df.show()

# +----------+
# |    inv_dt|
# +----------+
# |2018-09-01|
# |2018-09-02|
# |2018-09-03|
# |2018-09-04|
# |2018-09-05|
# |2018-09-06|
# |2018-09-07|
# |2018-09-08|
# |2018-09-09|
# |2018-09-10|
# |2018-09-11|
# |2018-09-12|
# |2018-09-13|
# |2018-09-14|
# |2018-09-15|
# |2018-09-16|
# |2018-09-17|
# |2018-09-18|
# |2018-09-19|
# |2018-09-20|
# +----------+
# only showing top 20 rows

然后像其他week_number这样的Spark SQL函数一样，调用我们的UDF date_format。我们可以将我们的UDF输出week_number("inv_dt", 7)与内置的Spark date_format(to_date("inv_dt", "yyyy-MM-dd"), "W")进行比较。

( df    
    .withColumn("Day_of_Week", date_format(to_date("inv_dt", "yyyy-MM-dd"), "u"))
    .withColumn("Week_Number_Sun_ref", date_format(to_date("inv_dt", "yyyy-MM-dd"), "W"))
    .withColumn("Week_Number_Sun", week_number("inv_dt", 7))
    .withColumn("Day_of_Week_Thu", week_number("inv_dt", 4))
    .withColumn("Day_of_Week_Mon", week_number("inv_dt", 1))
).show()

# +----------+-----------+-------------------+---------------+---------------+---------------+
# |    inv_dt|Day_of_Week|Week_Number_Sun_ref|Week_Number_Sun|Day_of_Week_Thu|Day_of_Week_Mon|
# +----------+-----------+-------------------+---------------+---------------+---------------+
# |2018-09-01|          6|                  1|              1|              1|              1|
# |2018-09-02|          7|                  2|              2|              1|              1|
# |2018-09-03|          1|                  2|              2|              1|              2|
# |2018-09-04|          2|                  2|              2|              1|              2|
# |2018-09-05|          3|                  2|              2|              1|              2|
# |2018-09-06|          4|                  2|              2|              2|              2|
# |2018-09-07|          5|                  2|              2|              2|              2|
# |2018-09-08|          6|                  2|              2|              2|              2|
# |2018-09-09|          7|                  3|              3|              2|              2|
# |2018-09-10|          1|                  3|              3|              2|              3|
# |2018-09-11|          2|                  3|              3|              2|              3|
# |2018-09-12|          3|                  3|              3|              2|              3|
# |2018-09-13|          4|                  3|              3|              3|              3|
# |2018-09-14|          5|                  3|              3|              3|              3|
# |2018-09-15|          6|                  3|              3|              3|              3|
# |2018-09-16|          7|                  4|              4|              3|              3|
# |2018-09-17|          1|                  4|              4|              3|              4|
# |2018-09-18|          2|                  4|              4|              3|              4|
# |2018-09-19|          3|                  4|              4|              3|              4|
# |2018-09-20|          4|                  4|              4|              4|              4|
# +----------+-----------+-------------------+---------------+---------------+---------------+
# only showing top 20 rows
#

Answer 2

“纯” PySpark的方法如下

from pyspark.sql import functions as F

def week_number(date_str, start_day_of_week=7):
    day_of_month = F.dayofmonth(date_str)
    first_day = F.sub_date(date_str, day_of_month - 1)
    first_day_day_of_week = F.dayofweek(first_day)
    offset = (first_day_day_of_week - start_day_of_week + 7) % 7
    week_num = F.floor((day_of_month - 1 + offset) / 7) + 1
    return week_num

week_num_from_thurs = df.withColumn('week_num_from_thurs', week_number('inv_dt', 4))

现在是凌晨2点，我没有本地的Spark集群或其他任何东西，因此可能有问题。解决方法应该归功于@Quar。我只是在这里将Python转换为Pyspark SQL API。变量名是故意冗长的。

pyspark通过从星期四的周开始获取月的周数

2 个答案: