我目前正在使用Apify的网络爬虫演员
我正在尝试抓取一个加载时间很长的页面。我已经遇到过这种情况,使用下面的代码始终有效。
async function pageFunction(context) {...
await context.waitFor(...);
...}
但是这次页面的加载速度确实很慢,并且达到[await context.waitFor(...)]
功能的20秒超时。有没有办法将此持续时间增加到默认时间以上?
答案 0 :(得分:0)
有第二个参数options
,您可以在其中设置超时。
async function pageFunction(context) {
await context.waitFor('selector', { timeoutMillis: 60000 });
}
我必须在GitHub repo of web-scraper中搜索此参数。我将在自述文件中为此文档创建一个问题。