如何在Databricks Delta Multi Cluster环境中维护主键列

Question

我正在尝试复制类似于SQL DB的功能，即在将数据写入Blob存储（例如ADLS2或AWS S3）的Databrciks Delta方法中维护主键。

我想要使用Databricks Delta的自动增量主键功能。

现有方法-是使用最新的行数并维护主键。但是，这种方法不适用于主键获取重复数据的并行处理环境。