YQL Scraping：关注链接一级关闭？

Question

YQl是否有一个很好的方法来抓取网页，但也可以按照该网页的链接获取更多详细信息？

一个例子就像一个博客，其中索引页面显示每个新闻条目的标题，但你需要点击该标题链接以获取新闻报道和相关图片等。我需要从每个新闻中获取数据输入页面并处理索引页面上的分页结果。

如果YQL能够做到这一点，任何人都可以提供任何示例吗？如果不是，任何人都可以建议一个好的选择吗？

Answer 1

我们通过在AppEngine中托管服务来解决类似问题，该服务首先调用YQL来获取链接。然后迭代链接以获取URL的内容。