Question

我刚刚学习了如何通过应用程序API访问数据，却遇到了麻烦。我目前正在尝试从Twitter搜索API检索json文件。 API的文档说使用CURL以便通过HTTP GET访问数据。下面是curl格式：

curl  "https://api.twitter.com/1.1/tweets/search/:product/:label.json?query=TwitterDev%20%5C%22search%20api%5C%22&maxResults=500&fromDate=<yyyymmddhhmm>&toDate=<yyyymmddhhmm>" -H "Authorization: Bearer TOKEN"

-curl api format

我已经尝试使用urllib访问它，但是在运行期间仍然收到错误消息。

下面是我使用的代码。

import urllib.request, urllib.parse, urllib.error
import twurl
import ssl
import json

#TWITTER_URL = 'https://api.twitter.com/1.1/statuses/user_timeline.json'
TWITTER_URL = 'https://api.twitter.com/1.1/tweets/search/30day/data1.json'

# Ignore SSL certificate errors
ctx = ssl.create_default_context()
ctx.check_hostname = False
ctx.verify_mode = ssl.CERT_NONE

while True:
    #acct = input('Enter Twitter Account: ')    
    #if (len(acct) < 1): break
    parameters = {
            #'screen_name': acct, 
            #'COunT': '3',
            'query': 'inline skate',
            'fromDate': '201906010000',
            'toDate': '201906102359',
            'maxResults': '20',
            }

    url = twurl.augment(TWITTER_URL, parameters)
    print('\nRetrieving', url, '\n')

    connection = urllib.request.urlopen(url, context=ctx)
    data = connection.read().decode()
    js = json.loads(data)
    jsdmp = json.dumps(js, indent=2)
    print(jsdmp, '\n')

    #for data in js:
        #print(data['text'])

    headers = dict(connection.getheaders())
    print('\nRemaining', headers['x-rate-limit-remaining'], '\n')
    break

这是我不断收到的错误消息：

File "C:\ProgramData\Anaconda3\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)

HTTPError: Unprocessable Entity

当我尝试访问上面的user_timeline tweets检索器时，它会起作用

TWITTER_URL = 'https://api.twitter.com/1.1/statuses/user_timeline.json'

但是它与搜索API无关，我想这是因为CURL。我已经按照文档要求使用的参数进行了检查。

此外， twurl 库用于访问令牌并同时处理url和参数以生成最终url。（据我了解）

以下是twurl代码：

import urllib.request, urllib.parse, urllib.error
import oauth
import hidden

# https://apps.twitter.com/
# Create App and get the four strings, put them in hidden.py

def augment(url, parameters):
    secrets = hidden.oauth()
    consumer = oauth.OAuthConsumer(secrets['consumer_key'], secrets['consumer_secret'])
    token = oauth.OAuthToken(secrets['token_key'], secrets['token_secret'])

    oauth_request = oauth.OAuthRequest.from_consumer_and_token(consumer,
                    token, http_method='GET', http_url=url,
                    parameters=parameters)
    #below is the main function galls!!
    oauth_request.sign_request(oauth.OAuthSignatureMethod_HMAC_SHA1(),
                               consumer, token)
    return oauth_request.to_url()

下面是隐藏的，其中存储了所有密钥和令牌：

def oauth():
    return {"consumer_key": "2HZq407wF.................",
            "consumer_secret": "OsemLubDmCcQq5Y3q............",
            "token_key": "75230340-2SGPJWWn..............",
            "token_secret": "NZcII332Y3EI.............."}

我一直在寻找解决方案，其中大多数似乎都将urllib2用于CURL，我认为它与python 3不兼容？你有什么建议吗？我有点被这一步困住了，什么也没走。

谢谢你们

如何使用urllib库从带有CURL的Twiter Search API中检索json文件

0 个答案: