urllib2的Twitter搜索失败

时间:2015-12-03 21:32:49

标签: python-2.7 twitter beautifulsoup urllib2

我正在尝试使用以下代码在Twitter上搜索给定的搜索字词:

from bs4 import BeautifulSoup
import urllib2

link = "https://twitter.com/search?q=stackoverflow%20since%3A2014-11-01%20until%3A2015-11-01&src=typd&vertical=default"
page = urllib2.urlopen(link).read()
soup = BeautifulSoup(page)
first = soup.find_all('p')

(将“stackoverflow”替换为您想要的任何搜索词的链接。)然而,当我这样做时(每次我尝试过去几天,认为Twitter可能太陷入困境),我得到这个错误:

No results.
Twitter may be over capacity or experiencing a momentary hiccup.

(为了简化观看,省略了BS的结果中的HTML。)

此代码使用为我工作,但现在不是。此外,直接将链接插入浏览器可以得到正确的结果,Twitter状态显示一切正常。

思想?

1 个答案:

答案 0 :(得分:3)

我能够重现你的结果。我相信Twitter正在使用这条消息来阻止人们刮擦。这是有道理的,因为他们花时间发布API以供人们访问他们的数据,他们不鼓励刮擦。

我的建议是使用他们在此处记录的API:https://dev.twitter.com/overview/documentation