抓取lxml和python请求。

时间:2018-08-06 03:48:58

标签: python python-requests lxml scrape

好吧,我又来了,真的尝试用lxml和python弄清楚这些东西。上次我问一个问题时,我使用的是xpath,不得不弄清楚如何进行更改,以防直接xpath源本身发生更改。我已经编辑了代码以尝试去上课。我一直遇到问题,它在内存中拉出了地址,而不是我想要的文本。在任何人说有一个我想做的事情的库之前,这不是关于此的事情,而是让我理解这段代码。这是到目前为止的内容,但是当我打印出来时出现错误,可以在print[0].text后面添加[0],但仍然没有任何效果。任何帮助都会很酷。

from lxml import html
import requests
import time



while True:
page = requests.get('https://markets.businessinsider.com/index/realtime-chart/dow_jones')
content = html.fromstring(page.content)
#This will create a list of prices:
prices = content.find_class('price')


print(prices.text)
time.sleep(.5)

1 个答案:

答案 0 :(得分:1)

可能是发布时出现的格式问题,但您的while循环没有缩进。

请在下面尝试我的代码:

while True:
    page = requests.get('https://markets.businessinsider.com/index/realtime-chart/dow_jones')
    content = html.fromstring(page.content)
    prices = content.find_class('price')
    #You need to access the 'text_content' method
    text = [p.text_content() for p in prices]
    for t in text:
        if not t.startswith(r"\"):  # Prevents the multiple blank lines
           print(t)
    time.sleep(0.5)