有没有一种方法可以交叉引用csv文件中的两行而无需在内存中加载文件

时间:2020-03-04 19:41:33

标签: python csv

我有两个很大的csv文件,它们超出了我的存储能力,需要我对文件进行分块或逐行读取。 每个文件的第1列中是日期时间字符串时间戳,按从最早到最新的顺序排序。

遍历第一个csv文件的每一行,最有效的方法是从第二个csv文件的行中检索数据,该行的时间戳是最近的时间但比第一个csv文件中的行的时间戳早?

CREATE TABLE `wp_dash_competition_versions` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `competition_id` bigint(20) unsigned DEFAULT NULL,
  `competition_serialised` mediumtext COLLATE utf8mb4_unicode_520_ci,
  `created_user_id` bigint(20) unsigned NOT NULL,
  `created_at` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
)

0 个答案:

没有答案