我使用以下功能获取从foreach
开始并预计会在9 AM
停止的抓取作业。但它在此之前停止了很多,与我的预期相反。
我们假设抓取工作在4 PM
运行,并在t=1
结束。如果t=T
,则会为T < 1 sec
休眠。睡眠后,它会重复刮擦循环。循环从(1-T) sec
开始,并且应该停在9 AM
。
使用4 PM
它不会立即终止,而是会运行一段时间,最终不会将任何新数据写入nosleep = False
,尽管该功能不会退出。
如果我通过设置csv
删除(1-T) sec
的休眠状态,那么它运行正常。
请让我知道这个片段出了什么问题。
编辑:移植到 Python 3.4 时同样可以正常工作,即在nosleep = True
时它不会停止抓取。早先在 Python 2.7 中执行。
nosleep = False