如何为Structure Streaming中的每条记录创建唯一ID

时间:2017-09-05 16:52:20

标签: pyspark spark-structured-streaming

我的结构化流媒体程序正在从Kafka读取数据。 我必须为每个输入记录创建唯一ID。有没有可用的方法?

我尝试了monotonically_increasing_id()方法,但总是给出值0

DF_ID = DF.withColumn("Date",split(col("root"), "\\|").getItem(0)) \
      .withColumn("InventoryAction_SKEY", monotonically_increasing_id())

0 个答案:

没有答案