Question

我正在使用nodejs和REST API与bigquery进行交互。我正在使用google-oauth-jwt模块进行JWT签名。

我授予了服务帐户写入权限。到目前为止，我可以列出项目，列出数据集，创建表并删除表。但是当涉及通过多部分POST上传文件时，我遇到了两个问题：

gzipped json文件不起作用，我收到错误说“结束边界丢失”
当我使用未压缩的json文件时，我收到401未经授权的错误

我不认为这与我的机器不同步的时间有关，因为其他REST api调用按预期工作。

var url = 'https://www.googleapis.com/upload/bigquery/v2/projects/' + projectId + '/jobs';
    var request = googleOauthJWT.requestWithJWT();
    var jobResource = {
        jobReference: {
            projectId: projectId,
            jobId: jobId
        },
        configuration: {
            load: {
                sourceFormat: 'NEWLINE_DELIMITED_JSON',
                destinationTable: {
                    projectId: projectId,
                    datasetId: datasetId,
                    tableId: tableId
                },
                createDisposition: '',
                writeDisposition: ''
            }
        }
    };
    request(
            {
                url: url,
                method: 'POST',
                jwt: jwtParams,
                headers: {
                    'Content-Type': 'multipart/related'
                },
                qs: {
                    uploadType: 'multipart'
                },
                multipart: [
                    {
                        'Content-Type':'application/json; charset=UTF-8',
                        body: JSON.stringify(jobResource)
                    },
                    {
                        'Content-Type':'application/octet-stream',
                        body: fileBuffer.toString()   
                    }
                ]
            },
            function(err, response, body) {
                console.log(JSON.parse(body).selfLink);
            }
        );

任何人都可以对此有所了解吗？

P.S。关于bigquery REST api的文档在很多方面都不是最新的，希望谷歌人能够保持更新

更新1：

以下是完整的HTTP请求：

POST /upload/bigquery/v2/projects/239525534299/jobs?uploadType=multipart HTTP/1.1
content-type: multipart/related; boundary=71e00bd1-1c17-4892-8784-2facc6998699
authorization: Bearer ya29.AHES6ZRYyfSUpQz7xt-xwEgUfelmCvwi0RL3ztHDwC4vnBI
host: www.googleapis.com
content-length: 876
Connection: keep-alive

--71e00bd1-1c17-4892-8784-2facc6998699
Content-Type: application/json

{"jobReference":{"projectId":"239525534299","jobId":"test-upload-2013-08-07_2300"},"configuration":{"load":{"sourceFormat":"NEWLINE_DELIMITED_JSON","destinationTable":{"projectId":"239525534299","datasetId":"performance","tableId":"test_table"},"createDisposition":"CREATE_NEVER","writeDisposition":"WRITE_APPEND"}}}
--71e00bd1-1c17-4892-8784-2facc6998699
Content-Type: application/octet-stream

{"practiceId":2,"fanCount":5,"mvp":"Hello"}
{"practiceId":3,"fanCount":33,"mvp":"Hello"}
{"practiceId":4,"fanCount":71,"mvp":"Hello"}
{"practiceId":5,"fanCount":93,"mvp":"Hello"}
{"practiceId":6,"fanCount":92,"mvp":"Hello"}
{"practiceId":7,"fanCount":74,"mvp":"Hello"}
{"practiceId":8,"fanCount":100,"mvp":"Hello"}
{"practiceId":9,"fanCount":27,"mvp":"Hello"}

--71e00bd1-1c17-4892-8784-2facc6998699--

Answer 1

您最有可能向Google API发送重复的content-type标头。

我无法毫不费力地向Google BigQuery请求测试，但我首先要将您的选项对象的headers属性移至request()。

删除它：

headers: {
  'Content-Type': 'multipart/related'
},

Node.js request模块会自动检测到您已传入多部分数组，并adds the appropriate content-type header。如果您提供自己的内容类型标题，则很可能最终会出现“重复”标题，但不包含多部分边界。

如果您稍微修改代码以打印出发送的实际标题：

var req = request({...}, function(..) {...});

console.log(req.headers);

您应该看到上面的原始代码（我正在使用Node REPL）：

> req.headers
{ 'Content-Type': 'multipart/related',
  'content-type': 'multipart/related; boundary=af5ed508-5655-48e4-b43c-ae5be91b5ae9',
  'content-length': 271 }

如果删除显式headers选项，则执行以下操作：

> req.headers
{ 'content-type': 'multipart/related; boundary=49d2371f-1baf-4526-b140-0d4d3f80bb75',
  'content-length': 271 }

某些服务器不能很好地处理具有相同名称的多个标头。希望这可以解决API中的结束边界丢失错误！

Answer 2

我自己想出来了。这是一个愚蠢的错误，会让你一整天都陷入困境，最后当你找到解决方案的时候，你真的会碰到自己的头脑。

我通过在浏览器中输入selfLink URL获得了401。当然它没有被授权。

获取401将文件上载到具有服务帐户的表中

2 个答案: