我正在学习使用线程的抓取工具。下面的代码是从列表PROXY_SITE
获取代理网址。方法save_proxies
将请求提供代理URL的Web并将其插入MongoDB。
def use_thread():
cleanup()
threads = []
for url in PROXY_SITES:
t = threading.Thread(target=save_proxies, args=(url,))
t.setDaemon(True)
threads.append(t)
t.start()
for t in threads:
t.join()
我不明白为什么同时使用setDaemon()
和join()
。如果代码有效,主线程将终止子线程或等待子线程处理?