pandas read_csv读取优化的data_types?

时间:2018-03-22 10:22:32

标签: python pandas csv

我正在使用pandas来分析中等大小的数据帧(10GB) - 主要是读取,不操纵和添加数据。我阅读了优秀的帖子https://www.dataquest.io/blog/pandas-big-data/,现在我想知道为什么没有read_csv_with_optimal_dtypes函数:

  1. 读取文件的一小部分
  2. 为其推断最佳dtypes,如博客
  3. 中所述
  4. 使用最佳dtypes dict
  5. 重新读取整个文件
  6. 如果发生任何向下转错(由于小部分并不忠实地代表整个数据),请回到旧的read_csv
  7. 我可以自己写一个,但这听起来如此简单和有用,我很惊讶pandas API本身或某些第三方库没有这样的功能......

    我错过了什么吗?

0 个答案:

没有答案