Google BigQuery错误401 msg：处理大量数据时未经授权

Question

我们正在尝试从Google Big Query中检索每日表格，通过HTTP请求平均每天约有4000万行：

• 使用服务帐户

• 由于数据量在我们的情况下是必需的，我传递allowLargeResults并提供[https://cloud.google.com/bigquery/querying-data#largequeryresults]中描述的destinationTable参数。

• 上面的步骤成功了，我可以通过从返回的JSON中读取totalRows值来查看总行数 - 这正确对应于我在BigQuery中运行相同查询时的总行数。

• 我们使用分页处理行，获取每个页面的pageToken值（根据每页10MB的限制，我们每页处理大约3K行）

每当处理完的行总数达到近百万时，就会运行此过程几次，返回NULL对象，我们得到错误401 msg：未经授权。

您能提供一些有关这种情况发生原因的更多信息吗？查看BigQuery的疑难解答错误列表https://cloud.google.com/bigquery/troubleshooting-errors 401错误仅被描述为身份验证错误，但我确信我们已成功通过之前的步骤使用Google Big Query进行身份验证。

感谢您的时间

Answer 1

授权令牌有效期为3600秒，您需要刷新令牌才能继续分页。

大多数库都有专门的方法来刷新令牌。