从完全相同的记录中删除一条记录 - Databricks

Question

我在 Databricks 的 Delta 表中有完全相同的记录。想删一个留一个。

我尝试过的： 1. 与 CTE AS ( select *, row_number() over(partition by colA order by colB) rn) 从 CTE 中删除，其中 rn>1

--没用

2.

delete from table_name where colA in (select colA from ( select colA, row_number() over(partition by colA order by colB) rn from table_name ) s where rn>1 )

--Didnt work - 说不支持多个 IN 谓词

3.

使用ctid删除 --无效，不支持ctid

4. 使用 Merge 查询，但它是相同的 - 要么删除两者，要么完全不删除。

任何建议请 注意 - 它在 Databricks SparkSQL 中