无论如何,执行时是否要停止启动脚本?

时间:2018-11-02 22:32:17

标签: scrapy web-crawler scrapy-spider scrapy-splash splash-js-render

假设您在Splash上​​执行了一个大型脚本,该脚本需要执行5分钟的操作。使用正确的超时参数,这是完全可能的。假设当启动启动脚本时,您要过早停止执行脚本,从而有效地杀死它。有什么办法告诉Splash这样做吗?我没有看到API中记录的任何内容

1 个答案:

答案 0 :(得分:1)

我认为Splash目前不支持这种功能,也不打算在不久的将来支持该功能。

但是,如果我们不将讨论仅限于“由Splash记录”的方法,那么我们确实有一些方法(不太糟糕):

当有一个持续的Splash请求要在Splash完成执行之前停止时,您可以简单地为该特定请求终止相应的TCP连接。一旦TCP连接断开,Splash将几乎立即终止正在进行的脚本执行。