使用Azure Data Factory将数据从Google Big Query移动到Azure Data Lake Store

时间:2018-02-26 14:30:10

标签: google-bigquery azure-data-factory azure-data-lake azure-data-factory-2

我有一个场景,我需要在Google Big Query中连接Azure数据工厂(v2),以便将数据移动到我的Azure Data Lake,但我不能工作。

当我创建一个Linked Service时,我选择Big Query作为Source,我把所有关于BigQuery的信息,作为项目名称,连接类型等等,但当我点击Validade按钮时,会显示一条消息:(对于为例)...

  

UserError:ERROR [28000] [Microsoft] [BigQuery](80)身份验证   失败:invalid_grant错误[28000] [微软] [BigQuery](80)   身份验证失败:invalid_grant' Type =,Message = ERROR [28000]   [Microsoft] [BigQuery](80)身份验证失败:invalid_grant错误   [28000] [微软] [BigQuery](80)验证失败:   invalid_grant,Source =,',activityId:   05ff5ce1-5262-4794-853c-c9e39b7f4b71

有什么想法吗?有人已经测试过这个连接器吗?

韩国社交协会。 Peeter Bonomo

1 个答案:

答案 0 :(得分:3)

BigQuery的ADF连接器文档解释了参数的含义,但没有提供有关如何获取这些参数值的任何指导。

我花了几天时间才终于开始工作了。我使用“用户身份验证”,因为我想使用基于云的IR。可以通过在GCP控制台中创建新凭据来获取“客户端ID”和“客户端密钥”。但要获得“刷新令牌”,你必须与谷歌进行OAuth2舞蹈并拦截令牌。

我整理了一个PowerShell脚本来为您完成此操作,并在GitHub上发布了一篇文章,引导您完成将ADF v2身份验证到Google BigQuery的过程:

https://github.com/AnalyticJeremy/ADF_BigQuery