用于将大型数据文件拆分为许多较小文件(约100,000个左右)的小型python脚本 - 基本上是地图平铺。
无论如何,经过很长一段时间(20 +小时)运行脚本后它就死了:
IOError: [Errno 2] No such file or directory: ......
现在这让我觉得奇怪,因为在脚本运行之前存在的文件没有 - 并且在写完每个文件后调用f.close(),所以FD限制似乎不是负责任的......(和充足的磁盘空间)
另一个奇怪的事情是,当脚本死亡时,它已经创建/写入的所有文件(大约55,000个)与包含目录一起被删除。
我使用多处理模块为每个CPU核心创建一个进程,并且所有4个在死亡时都发出相同的消息 - 但是在他们处理的数据部分中有一个文件(也许这是相关的?)
我希望可以解决这个问题,但我很好奇为什么会发生这种情况?
编辑:对于更多上下文,脚本将GSHHS地理数据拆分为小“块”。现在,我已经成功地将数据库的较低分辨率部分用于包含全球较大区域的文件 - 当试图将高分辨率数据分成1x1°瓦片时,它已经崩溃了