如何从BigQuery检索数据并将数据插入到mySQL？

Question

我正在尝试编写一个批处理文件，该文件可以从Google BigQuery检索特定数据，然后将这些数据插入到mySQL中。

批处理服务器的语言是Java，构建工具是Ant。

Answer 1

如Iñigo所述，您可以使用BigQuery Java client library从BigQuery读取数据。这将是最简单的方法。您在这里有2个选择：

a。创建一个查询作业，以获取SQL查询的结果集，解析结果并将其写入MySQL。对于这种方法，您可以使用：

1. 用于创建查询作业的“Job create”方法（请参见示例 在链接中。）
2. 用于获取异步作业状态的“getJob”方法。
3. “getQuery”方法的结果方法来获取结果集。

b。创建一个export job，它将把BigQuery表的数据导出到Cloud Storage中的文件，然后从Cloud Storage下载文件并将数据写入MySQL。请注意，如果您不熟悉Google Cloud Platform，则此方法将更加困难，因为您需要创建一个Cloud Storage存储桶并与Cloud Storage Java library进行交互。

要将数据写入MySQL，您需要使用Java连接器，例如this one。

希望这会为您指明正确的方向。