Question

我正在尝试在DataFrame中实现自动增量列。我已经找到了解决方案，但是我想知道是否有更好的方法可以做到这一点。

我正在使用monotonically_increasing_id()中的pyspark.sql.functions函数。问题是从0开始，我希望从1开始。

所以，我做了以下工作，并且工作正常：

(F.monotonically_increasing_id()+1).alias("songplay_id")

dfLog.join(dfSong, (dfSong.artist_name == dfLog.artist) & (dfSong.title == dfLog.song))\
                    .select((F.monotonically_increasing_id()+1).alias("songplay_id"), \
                               dfLog.ts.alias("start_time"), dfLog.userId.alias("user_id"), \
                               dfLog.level, \
                               dfSong.song_id, \
                               dfSong.artist_id, \
                               dfLog.sessionId.alias("session_id"), \
                               dfLog.location, \
                               dfLog.userAgent.alias("user_agent"))

是否有更好的方法来实现我想做的事情？我认为，仅为此目的而实现udf函数的工作量很大。

谢谢。-

Answer 1

序列monotonically_increasing_id不能保证是连续的，但可以保证单调递增。作业的每个任务都将被分配一个起始整数，该整数将从每行开始以1递增，但是您将在一个批次的最后一个ID与另一个批次的第一个ID之间留有间隔。要验证此行为，可以通过对示例数据框重新分区来创建包含两个任务的作业：

import pandas as pd
import pyspark.sql.functions as psf
spark.createDataFrame(pd.DataFrame([[i] for i in range(10)], columns=['value'])) \
    .repartition(2) \
    .withColumn('id', psf.monotonically_increasing_id()) \
    .show()
        +-----+----------+
        |value|        id|
        +-----+----------+
        |    3|         0|
        |    0|         1|
        |    6|         2|
        |    2|         3|
        |    4|         4|
        |    7|8589934592|
        |    5|8589934593|
        |    8|8589934594|
        |    9|8589934595|
        |    1|8589934596|
        +-----+----------+

为了确保索引产生连续的值，可以使用窗口函数。

from pyspark.sql import Window
w = Window.orderBy('id')
spark.createDataFrame(pd.DataFrame([[i] for i in range(10)], columns=['value'])) \
    .withColumn('id', psf.monotonically_increasing_id()) \
    .withColumn('id2', psf.row_number().over(w)) \
    .show()
        +-----+---+---+
        |value| id|id2|
        +-----+---+---+
        |    0|  0|  1|
        |    1|  1|  2|
        |    2|  2|  3|
        |    3|  3|  4|
        |    4|  4|  5|
        |    5|  5|  6|
        |    6|  6|  7|
        |    7|  7|  8|
        |    8|  8|  9|
        |    9|  9| 10|
        +-----+---+---+

注释：

monotonically_increasing_id允许您在读取行时为其设置顺序，对于第一个任务，该顺序从0开始，但不一定以顺序方式增加
row_number在有序窗口中顺序索引行，并从1开始

在DataFrame中实现自动增量列

1 个答案: