Python:刮掉留言板的多个页面

时间:2015-03-04 14:47:17

标签: python-2.7 web-scraping

我希望能够从特定股票的雅虎财经消息页面中删除所有消息。

以下是一个示例页面: http://finance.yahoo.com/mb/AMD/

我希望能够在那里收到所有信息。 如果我点击"消息"上面链接上的按钮我转到这个链接: http://finance.yahoo.com/mb/forumview/?&v=m&bn=d56b9fc4-b0f1-3e88-b1f5-e1c40c0067e7 它有超过10页。

如何通过了解股票代码" AMD"?

来使用Python代码来废弃这些数据

1 个答案:

答案 0 :(得分:0)

基础知识:

tickers = ['AMD', 'AAPL', 'GOOG']
for t in tickers:
   url = 'http://finance.yahoo.com/mb/' + t + '/'
   r = br.open(url)
   html = r.read()
   soup = BeautifulSoup(html)
   print soup

您想要的内容位于特定的html标记内。使用soup.find_all获取您想要的内容。要在页面之间移动,请使用Selenium。