将熊猫数据帧写入_feather有哪些限制?

时间:2018-12-26 12:22:06

标签: python pandas

我有一个大的数据框,我想保留在磁盘上,以避免频繁地重新生成它。 to_excel很难写出来。我知道to_feather将是更快的写入/读取和更小的文件。

但是我无法正常工作。首先它抱怨,因为我有一个多指标。所以我将其重置为扁平状。

现在它在抱怨:

ArrowTypeError: ('an integer is required (got type str)', 'Conversion failed for column CFT_Code with type object')

我的数据框中有一个dtypes范围:

set([complete_df[col].dtype for col in complete_df.columns])
{dtype('<M8[ns]'), dtype('int64'), dtype('float64'), dtype('O')}

这只是一个数字,日期和大量空白单元格的数据框。

我是否误解了羽毛文件的使用?我认为我没有异常的数据框。如果使用不当,是否应该保存一种更好的格式(在速度和文件大小方面)?

=====

我发现写to_pickle的文件至少比to_excelto_csv快得多。不过,您仍然想了解to_feather

有什么处理

0 个答案:

没有答案