我们有一个像数据库一样使用的csv文件,还有一个ETL脚本,它可以将输入的Excel文件转换为相同的格式以附加到csv文件中。
该脚本将csv文件读取到一个数据帧中,并将新的输入数据帧追加到末尾,然后使用to_csv覆盖旧的csv文件。
问题是,当我们更新到新版本的Python(随Anaconda下载)时,每次向其添加数据时,输出的csv文件就会越来越大。原始csv中读入脚本的行越多(该脚本将与新的附加数据一起输出),输出文件的大小将被放大。 csv文件中的实际行数和数据很好,只是文件大小本身异常大。
有人知道更新到新版本的Python是否可能破坏了此过程? Python是否在我们看不到的csv文件中存储数据?
任何想法或帮助都值得赞赏!谢谢。