从Web服务器中提取数据

Question

我已经使用刮刀从网站（例如电影）中提取数据，但是如何连接到网站服务器以直接从数据库中提取数据而不是让爬虫从视觉网站提取数据？如果你能给我一些你很酷的图书馆名称，工具集或指南。

额外： 请求库是否执行此操作获取帖子功能？

Answer 1

您无法直接从网站数据库中获取数据。 有一个非常好的Python包可以在不使用GUI的情况下从网站获取数据：requests

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}