YQL控制台没有返回完整的html页面

Question

好的，我会保持简单

我在YQL console

中添加了以下查询

select * from html where  url="https://twitter.com/laurenlemon/status/470403949980549121"

查询中的twitter site是我想要使用YQL提取的推文列表。

控制台中的响应仅包含html标签和一些html标签的一些内容，但在YQL控制台窗口的响应中，任何html元素中都没有显示任何用户的任何推文。

我不知道我做错了什么。

Answer 1

好的家伙我想通了，YQL只能抓取html加载的内容，现在由AJAX加载的内容就像请求一样，所以我不得不选择能够模拟真实浏览器并导航的selenium和phantomJS到站点和刮擦功能。 任何想要抓取ajax加载内容的人都可以参考selenium docs here，它是一个非常易于使用的分步指南，用于抓取AJAX内容。