如何在Apify中增加功能的默认超时时间

时间:2019-09-30 10:07:01

标签: javascript web-scraping puppeteer apify

我目前正在使用Apify的网络爬虫演员
我正在尝试抓取一个加载时间很长的页面。我已经遇到过这种情况,使用下面的代码始终有效。

async function pageFunction(context) {...
await context.waitFor(...);
...}

但是这次页面的加载速度确实很慢,并且达到[await context.waitFor(...)]功能的20秒超时。有没有办法将此持续时间增加到默认时间以上?

1 个答案:

答案 0 :(得分:0)

有第二个参数options,您可以在其中设置超时。

async function pageFunction(context) {
  await context.waitFor('selector', { timeoutMillis: 60000 });
}

我必须在GitHub repo of web-scraper中搜索此参数。我将在自述文件中为此文档创建一个问题。