我想用两个日期之间的所有月份在Spark SQL中创建一个表。像这样:
months
----------
2018-11-01
2018-12-01
2019-01-01
2019-02-01
2019-03-01
2019-04-01
我知道如何在Python中做到这一点:
startDate = datetime.datetime(2018, 11, 1)
endDate = datetime.datetime.now()
output_df = generate_series(startDate, endDate, "months")
output_df = output_df.filter(F.col("months").like("%-01"))
但是我不知道如何在纯Spark SQL中做到这一点。我可以使用Oracle或SQL Server来做到这一点,但是Spark中似乎不存在通用表和特定功能。
你有什么主意吗?
谢谢