我正在尝试用bash编写一个爬虫来从bing下载图像。一切正常,除了bing在开始时只加载30张图像(使用无限滚动),因此我无法使用wget下载超过30张图像。
同时从bing图像下载30多张图像的任何解决方法。?
- 谢谢你的帮助。 :)
答案 0 :(得分:1)
Bing有一个API,也许这比屏幕抓取更好? Bing肯定比屏幕抓取更容易/支持它,并且随着时间的推移改变他们的产品,更不容易发生变化。
如果您因任何原因真的设置了屏幕抓取,您可以尝试使用调试加载页面(例如使用Firebug)并观察触发无限滚动时会发生什么。然后尝试用代码手动触发它。