如何有效地为spark数据帧中的每条记录添加32位单调增加的连续id?

时间:2017-10-17 21:26:03

标签: scala apache-spark spark-dataframe

我有这个问题,我们需要一个需要添加到数据框的int主键(而不是长主键)。

MonotonicallyIncreasingId将无效,因为它默认为long并将其转换为int会严重截断,因为它的最后31位实际上是行号。

有人做过这种事吗?

0 个答案:

没有答案