如何下载带有ajax调用的网页

时间:2013-03-09 00:13:22

标签: javascript ajax web-scraping

我想在这里下载所有标题文章的列表, http://seekingalpha.com/symbol/amzn

但是有一个按钮' MORE'进行Ajax调用。 有没有办法可以下载完整的文章列表?

我不熟悉javascript或Ajax,所以任何建议都会非常有用。

这里是按钮的javascript功能。

function portfolioPagination(type, page, direction){
  if ($(type + '_show_more')) {
    $(type + '_show_more').remove();
    $('show-more-preloader').style.display = "";
  }
  if (page == 0) return;
  new Ajax.Updater({success: 'headlines_'+type}, '/account/ajax_headlines_content', {
    parameters: { type: type, page: page, slugs: 'amzn', is_symbol_page : true},
    insertion: 'bottom',
    onComplete: function(){$('show-more-preloader').style.display = "none";}
  });
  if (window.pageTracker) pageTracker._trackEvent("Portfolio Tracking", 'Pagination', type+" - "+direction);
}

1 个答案:

答案 0 :(得分:2)

使用Chrome检查器或Firebug或类似内容查看AJAX请求,可能类似于../account/ajax_headlines_content/..,并查看该请求的结果。有你想要的数据。

-

网址为:http://seekingalpha.com/account/ajax_headlines_content

数据是(表格数据):

type: all
page: 2
slugs: amzn
is_symbol_page: true
_:

它似乎也接受$_GEThttp://seekingalpha.com/account/ajax_headlines_content?type=all&page=2&slugs=amzn&is_symbol_page=true&_=