轮询API端点-没有返回JSON时如何重试?

时间:2019-03-06 16:47:49

标签: python api polling retry-logic

我正在使用while循环轮询API端点,该循环检查JSON上的.get()方法是否返回None:

    while requests.get(render_execution_url, headers=headers).json().get('finalized_at') is None:
        status = requests.get(render_execution_url, headers=headers).json().get('status')
        status_detail = requests.get(render_execution_url, headers=headers).json().get('status_detail')
        logger.info("status for {} is {}.  detailed status is {}".format(render_execution_url, status, status_detail))

这里的想法是我们继续轮询端点,直到填充“ finalized_at”值为止。

不幸的是,当JSON根本不存在时,我们会定期失败:

 File "/usr/lib/python2.7/json/__init__.py", line 339, in loads
   return _default_decoder.decode(s)
 File "/usr/lib/python2.7/json/decoder.py", line 364, in decode
   obj, end = self.raw_decode(s, idx=_w(s, 0).end())
 File "/usr/lib/python2.7/json/decoder.py", line 382, in raw_decode
   raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

我已经尝试在方法上使用重试装饰器(请参见下文以了解装饰器语法),但是在遇到此故障时,它似乎并没有执行重试。

@retry(stop_max_attempt_number=7, wait_fixed=10000)

在没有JSON的情况下(例如,在一段时间内重试),是否存在一种优雅的Pythonic方法来处理这种情况?

1 个答案:

答案 0 :(得分:2)

您的代码太稠密,无法轻松区分出需要处理的不同条件,因此您的错误报告无法确切说明“当JSON根本不存在时”的含义-服务器是否正在返回404(找不到页面),或者响应数据为空,还是其他?

这是一个重写,每次访问JSON时都不会访问URL。它可能无法完全满足您的需求,但应该可以帮助您入门。

while True:
    resp = requests.get(render_execution_url, headers=headers)
    # I assume response status is always 200 or 204 -
    # Really easy to detect a 404 here if that happens.
    if not resp.data:
        time.sleep(WAIT_TIME)
        continue
    rj = resp.json()
    if rj.get('finalized_at') is not None:
        break
    status = rj.get('status')
    status_detail = rj.get('status_detail')
    logger.info("status for {} is {}.  detailed status is {}"
                .format(render_execution_url, status, status_detail))
    time.sleep(WAIT_TIME)