结合Twython和Scrapy的最佳方式?

时间:2015-08-11 00:21:37

标签: python twitter scrapy twitter-oauth scrapy-spider

所有!

所以,我想使用Twython抓取Twitter。问题是我对Scrapy的功能也很感兴趣。如果使用Twython请求函数覆盖start_requests,那么根本不会浪费任何Scrapy吗?我听说Scrapy很快,我认为这是因为我们使用他们的Request函数。

我的意思是,像这样:

from twython import Twython

#Auth steps
AUTH = {"app_key": "xxx",
    "app_secret": "xxx",
    "oauth_token": "xxx",
    "oauth_token_secret": "xxx"}
twitter = Twython(**AUTH)    

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        return [twitter.lookup_user(user_id="259784090,136953436,1219150098")]

我仍然困惑为什么人们选择Scrapy。

谢谢! 阿美

0 个答案:

没有答案