Question

我正在尝试编写一个上下文管理器来处理GitHub速率限制异常。从本质上讲，我希望它能够监听错误，当它发生时，动态地拉动重置时间（全部通过GitHub API完成），并等待那段时间。在这一点上，我希望它能够恢复该程序，并根据需要多次完成这项工作。

这是我到目前为止所做的：

@contextlib.contextmanager
def api_rate_manager(api_obj: g3.GitHub):
    # Check for the API ratelimit being exhausted.  Limited to 5k
    # requests per hour.
    try:
        yield
    except GitHubError as e:
        if 'rate limit exceeded' in e.msg.lower():
            info = g3.rate_limit()['resources']['core']
            reset = mu.convert_unix_timestamp(info.get('reset'))
            delta = reset - datetime.now()
            sleep(
                delta.seconds + 1)  # Add a second to account for milliseconds

目前，它会正确捕获错误并等待，但它只是退出程序（这是有道理的）而不是绕回来继续。我知道我可以检查代码以查看剩余限制是什么，等待它达到0，但我想练习上下文管理器。

它将以下列方式使用：

        with api_rate_manager(gh):
            for commit_iter in commit_iters:
                handler: gu.EtagHandler = commit_iter.etag_handler
                for commit in commit_iter:
                    if not commit:
                        continue

                    commit.refresh()
                    author_data: dict = commit.commit.author
                    data = {
                        'sha': commit.sha,
                        'author': author_data.get('name'),
                        'author_email': author_data.get('email'),
                        'create_date': author_data.get('date'),
                        'additions': commit.additions,
                        'deletions': commit.deletions,
                        'total': commit.total
                    }
                    mu.add_etl_fields(data)
                    writer.writerow(data)
                    has_data = True
                etag: str = commit_iter.get_etag()
                if etag:
                    logger.info(f'Etag for {commit_iter.name}: {etag}')
                    handler.store_in_db(etag=etag)

Answer 1

虽然上下文管理器使用yield（如在生成器中），但它只生成一次。 See contextlib's documentation

因此，如果在您的上下文管理器中捕获到异常，则会在yield之后继续执行并退出。您可能希望反转上下文管理器和主迭代的顺序。请参阅下面的示例。

上下文管理器：

import contextlib
from time import sleep

@contextlib.contextmanager
def api_rate_manager():
    try:
        yield
    except KeyError as e:
        print('sleeping')
        sleep(3)

测试案例1：

a = {0:0,1:2,2:4,3:6,5:10}

with api_rate_manager():
    for i in range(8):
        print(a[i])

输出：

0
2
4
6
sleeping

测试案例2：

for i in range(8):
    with api_rate_manager():
        print(a[i])

输出：

0
2
4
6
sleeping
10
sleeping
sleeping

如何使用Context Manager处理API速率限制？

1 个答案: