我正在开发一种读取本地在线报纸的技能,并且正在使用一些Web抓取功能来获取所需的图像,文本和url(该技能还支持GUI元素的APL)。
问题是,如果我在正常的脱机IDE中执行该功能并打印出结果,则该请求最多需要2.5s,而当我用Echo测试时,它最多需要5s,有时甚至超时。我试图尽最大可能优化代码,但是问题仍然存在。目前,我正在将带有cheerio的node.js和request作为附加模块使用,并承诺确保在获得所需信息后执行某些代码。
是否可以通过Web Scraping获得我想要的信息?目前,用户体验非常糟糕。我要抓取的网站是用Wordpress建立的(如果可以帮助的话)。
我也想知道通常是什么因素会增加问题和回应之间的时间。我正在使用Lambda作为后端(爱尔兰)。