使用错误报告将大量数据加载到MariaDB中

Question

我有一个带有1000万条记录的csv文件，需要将其快速加载到MariaDB数据库中。我正在使用LOAD DATA INFILE导入数据，但是我主要担心的是：错误报告。似乎LOAD DATA INFILE在提供有关文件导入期间遇到的任何错误的有用反馈方面的能力非常有限。 SHOW WARNINGS仅限65,535个错误，并且未提供警告的行号。我需要找到一个解决方案，该解决方案不受它可能提供的错误数量的限制，并且可以分辨出csv中的哪行引起了该错误。我无法在MariaDB文档中找到任何帮助的内容。解决这个难题的最佳方法是什么？

Answer 1

如果错误为空列，转换错误等，那么我建议改为：

1. CREATE TABLE，其中包含AUTO_INCREMENT，并且大部分（或全部是）VARCHAR(...) NULL列。
2. LOAD DATA –应该没有错误？
3. 执行各种SQL查询以清理数据。请注意，AI列将是行号（除非系统是多主机）。
4. 使用实际的列数据类型将清理后的数据复制到“实际”表中。