如何通过Python抓取网站内容

Question

我正在学习Python。我想在一个URL上获取内容。获取网站上一个标题的所有文本并将其保存到文件.txt。你能告诉我一些代码示例吗？

Answer 1

按Get all text in one title on the website我认为你的意思是得到页面的标题？

首先，你需要BeautifulSoup

如果您有pip，请使用

pip install beautifulsoup4

现在进入代码：

from bs4 import BeautifulSoup
from requests import get
r = get(url).text
soup = BeautifulSoup(r, 'html.parser')
title = soup.title.string #I save the title to a variable rather then jus
with open('url.txt', 'w') as f:
    f.write(title)

现在，无论您保存哪个脚本，都会有一个名为url.txt的文件，其中包含该网址。