Question

如何从Python网页下载 only text / html / javascript？

我正在尝试获取有关博客作者撰写的文本的一些统计信息。只需要文本，我想通过避免下载图像等来提高我的程序速度。

我能够将文本与HTML标记语言分开。所以我的目的主要是避免在网页上下载aditional内容（如图片，.swf等）

到目前为止，我使用：

user_agent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3'
        headers = {'User-Agent': user_agent}
req = urllib2.Request(url, None, headers)
response = urllib2.urlopen(req, timeout=60)
content_type = response.info().getheader('Content-Type')
if 'text/html' in content_type:
   return response.read()

但我不确定我做的是否正确（即仅下载文本）

Answer 1

Python BeautifulSoup是解析网页的最佳选择之一

import bs4
import urllib.request

webpage=str(urllib.request.urlopen(link).read())
soup = bs4.BeautifulSoup(webpage)

print(soup.get_text())

仅从Python中的网页内容下载文本

1 个答案: