标签: pyspark spark-structured-streaming
我的结构化流媒体程序正在从Kafka读取数据。 我必须为每个输入记录创建唯一ID。有没有可用的方法?
我尝试了monotonically_increasing_id()方法,但总是给出值0
monotonically_increasing_id()
DF_ID = DF.withColumn("Date",split(col("root"), "\\|").getItem(0)) \ .withColumn("InventoryAction_SKEY", monotonically_increasing_id())