YQL网页抓取超过最大允许限制

时间:2018-02-20 17:52:05

标签: javascript yql

我正在使用YQL从网站上抓取数据,但现在数据已经增长到超过YQL允许的限制,因此我得到的所有内容都是空结果。我现在不确定如何获取数据,因为我没有使用任何服务器端技术。

这是我收集数据的摘录:

YUI().use('yql', function(Y) {
    Y.YQL('select * from htmlstring where ' +
        'url="http://website.com" 'and xpath="//div[contains(@class, \'name\')]"'
  

例外:来自流的响应超出最大值:1539672允许限制:1536000

0 个答案:

没有答案