通过Windows服务在BigQuery表中插入记录

Question

我创建了一个Windows服务，可以使用服务帐户授权完美地与Google BigQuery API进行通信。出于测试目的，我可以从BigQuery表中获取数据，以检查我的Windows服务和BigQuery API之间的通信。但是这个服务基本上会从MSSQL服务器中获取记录，然后一个接一个地将记录插入或附加到BigQuery中的目标表。我不想将CSV或JSON文件用作数据源。有没有办法这样做？

Answer 1

不，您必须使用CSV或JSON作为源格式才能将数据加载到BigQuery中。

BigQuery目前支持批量提取模型，而不是记录级别模型。每日导入配额为每个表1,000个导入作业，整个项目总计10,000个导入作业。

我建议您按时间间隔（可能每小时）从MSSQL服务器导出数据，将输出缓存在CSV或JSON文件中，然后在MSSQL导出步骤完成后启动BigQuery提取作业。