Web抓取功能导致Alexa响应缓慢

时间:2019-05-20 13:51:43

标签: node.js web-scraping alexa alexa-skills-kit cheerio

我正在开发一种读取本地在线报纸的技能,并且正在使用一些Web抓取功能来获取所需的图像,文本和url(该技能还支持GUI元素的APL)。

问题是,如果我在正常的脱机IDE中执行该功能并打印出结果,则该请求最多需要2.5s,而当我用Echo测试时,它最多需要5s,有时甚至超时。我试图尽最大可能优化代码,但是问题仍然存在。目前,我正在将带有cheerio的node.js和request作为附加模块使用,并承诺确保在获得所需信息后执行某些代码。

是否可以通过Web Scraping获得我想要的信息?目前,用户体验非常糟糕。我要抓取的网站是用Wordpress建立的(如果可以帮助的话)。

我也想知道通常是什么因素会增加问题和回应之间的时间。我正在使用Lambda作为后端(爱尔兰)。

0 个答案:

没有答案