在完整数据库行上使用哪种唯一索引的哈希算法？

Question

我想在LOAD DATA INFILE数据库上使用mysql批量插入大型数据集。

要跳过现有的行（所有列的行应该是唯一的，大约20个），我想计算hash并添加unique index它。因此，负载将跳过现有的条目。

我想使用GENERATED COLUMNS：

GENERATED ALWAYS AS (md5(concat('column1', 'column2', ... 'columnN'))) STORED NOT NULL;

但由于要加载的文件是由java工具准备的，我可能会添加任何散列算法，而不是在db中计算。

问题：哪种哈希算法在性能和性能方面最佳 碰撞？

md5, sha-1, sha-2, sha-256？

样本大小约为100百万行。