Python:IOError 110从磁盘读取时连接超时

时间:2018-05-21 11:48:03

标签: python distributed-computing sungridengine supercomputers

我在Sun Grid Engine超级计算群集上运行Python脚本,该群集读入文件ID列表,将每个脚本发送到工作进程进行分析,并将每个输入文件的一个输出写入磁盘。

问题是我在工作函数内部的某处获得IOError(110,'连接超时'),我不知道为什么。我在过去收到严重延迟的网络请求时收到此错误,但在这种情况下,工作人员只是尝试从磁盘读取数据。

我的问题是:从磁盘读取时会导致连接超时错误的原因,以及如何解决此错误?任何其他人可以提供的帮助将非常感激。

完整脚本(IO {在include/SugarFields/Fields/Bool/SearchView.tpl中出现):

minhash_text()

1 个答案:

答案 0 :(得分:0)

事实证明我是在努力锤击文件系统,在同一台服务器上对文件进行过多的并发读取请求。该服务器只能在给定时间段内允许固定数量的读取,因此超过该限制的任何请求都会收到连接超时响应。

解决方案是在while循环中包装每个文件读取请求。在while循环中,尝试从磁盘读取相应的文件。如果连接超时错误弹出,请暂停一秒,然后重试。只有在读取文件后才可以打破while循环。