我有一个大的数据框,我想保留在磁盘上,以避免频繁地重新生成它。 to_excel
很难写出来。我知道to_feather
将是更快的写入/读取和更小的文件。
但是我无法正常工作。首先它抱怨,因为我有一个多指标。所以我将其重置为扁平状。
现在它在抱怨:
ArrowTypeError: ('an integer is required (got type str)', 'Conversion failed for column CFT_Code with type object')
我的数据框中有一个dtypes
范围:
set([complete_df[col].dtype for col in complete_df.columns])
{dtype('<M8[ns]'), dtype('int64'), dtype('float64'), dtype('O')}
这只是一个数字,日期和大量空白单元格的数据框。
我是否误解了羽毛文件的使用?我认为我没有异常的数据框。如果使用不当,是否应该保存一种更好的格式(在速度和文件大小方面)?
=====
我发现写to_pickle
的文件至少比to_excel
或to_csv
快得多。不过,您仍然想了解to_feather