刮刮雅虎的头条新闻!使用Python3进行财务

时间:2016-04-04 03:53:07

标签: html css python-3.x web-scraping beautifulsoup

我一直试图抓住雅虎的头条新闻!个人股票的财务页面。例如,我想获得GOOGL的头条新闻,但我似乎无法为BeautifulSoup获取正确的CSS选择器。有任何想法吗?我尝试了以下代码的多种变体,用以下代码替换我的选择器:" a"," href","#yui_3_9_1_8_1459741486422_44"," li&#34 ;," ul"我已经离开了我的最新版本" a"标签,我知道,它为您提供了所有页面的链接,而不仅仅是标题。

import re
import requests
from bs4 import BeautifulSoup

URL = 'http://finance.yahoo.com/q?s=GOOGL'
res = requests.get(URL)
res.raise_for_status()
content = res.content
soup = BeautifulSoup(content, 'html.parser')
print(soup.select('a'))

http://finance.yahoo.com/q/h?s=GOOGL&t=2016-04-03T21:02:10-04:00

这是我尝试复制选择器时获得的结果(我使用Chrome,使用内置的Inspector):#yui_3_9_1_8_1459741486422_44。尝试了我能想到的每一个变化,没有任何效果。

API,ystockquote,没有让你轻松获得头条新闻的功能,我不认为......?

1 个答案:

答案 0 :(得分:2)

divyfi_quote_headline类获取标题链接列表:

links = soup.select('div.yfi_quote_headline ul > li > a')
for link in links:
    print(link.get_text(strip=True))