尝试将Google App Engine中的insertAll用于BigQuery时出现HTTP 501错误

时间:2015-08-24 09:46:17

标签: python google-app-engine google-bigquery

已解决:正如Felipe在评论中所建议的,我使用EU作为数据位置。流式传输在欧盟数据中心无法用于BigQuery,因此我不得不将数据迁移到美国数据中心,之后一切都按预期工作。

我的问题: 我尝试使用Google App Engine(python版本)将数据推送到BigQuery。在实际插入发生之前,一切似乎都很好,之后我收到HTTP 501错误。谷歌的错误代码表引用了我"联系支持"。

错误回复:
    HttpError:https://www.googleapis.com/bigquery/v2/projects/[PROJECT]/datasets/[DATASET]/tables/[TABLE]/insertAll?alt=json返回"未实现:流式摄取是已禁用目标数据集。">

使用的实际代码:

class MainHandler(webapp2.RequestHandler):
    def get(self):
        data = json.loads(self.request.get('data'))
        body = {
            'insertId': str(uuid4()),
            'rows':[
                {'json': data}
            ]
        }

        credentials = appengine.AppAssertionCredentials(scope=_SCOPE)
        http = credentials.authorize(httplib2.Http())
        bigquery = discovery.build('bigquery', 'v2', http=http)
        response = bigquery.tabledata().insertAll(
            projectId=PROJECT_ID,
            datasetId=DATASET_ID,
            tableId=TABLE_ID,
            body=body).execute(num_retries=num_retries)

1 个答案:

答案 0 :(得分:0)

如错误消息所示:已禁用目标数据集的流式摄取。

您要么尝试写入列为公共的数据集,只读或由于某种原因被BigQuery禁用,您可以联系它们。

您可以与支持here联系,或者如果您知道这是一个已知错误,可以尝试发布问题here