内存不足:在python3中杀死进程或在线程上牺牲子进程

时间:2018-10-12 10:42:45

标签: python-3.x multithreading process out-of-memory

我有一个程序不断检查网页内容,直到它改变为止。为此,我每0.5s打开一个新线程,每个线程都有一个与新代理的新连接,因此刷新速度似乎更快。线。我将脚本放在服务器上,但一段时间后,该字符串

停止
  

内存不足:杀死进程2066(python3)得分376或牺牲   孩子

如何防止这种情况?这是由于RAM内存中的信息过多引起的吗?

编辑:为了使它更好,我想每个链接打开10个会话。当一个会话将关闭另一个会话时,请替换上一个关闭的会话。为此,我阅读了有关线程队列的信息,但我不知道该怎么做。

这是我打开新线程的方式:

sites = read_from_txt("links.txt")
proxy_list = read_from_txt("proxies.txt")


 # Start monitoring sites
    while(True):
        threads = []
        for link in sites:
            # skip over blank lines 
            if not link.strip():
                pass
            else :

                #threading setup
                t = Thread(target=monitor, args=(link, proxy_list))
                threads.append(t)
                t.start()
                time.sleep(0.5)

0 个答案:

没有答案