我如何从另一个BIG查询数据集中创建一个BIG查询数据集

Question

我需要了解以下内容：

1。）一个BIG QUERY如何连接到另一个BIG QUERY，并应用一些逻辑并创建另一个BIG查询。例如，如果我有一个像Data Stage这样的ETL工具，并且我们已经上传了一些数据供我们以BIG查询的形式使用。因此，在DataStage中或使用任何其他技术，我如何设计工作，以使源是一个BQ，而目标是另一个BQ。

2。）我想要实现的输入就像是一个VIEW（BIG查询），然后需要在BIG Query视图上运行一些逻辑，然后加载到另一个BIG Query视图中。

3。）将一个BIG查询连接到另一个BIG查询的技术是https或其他任何技术。

谢谢

Answer 1

如果要处理大量数据（许多GB），则应直接在Big Query数据库中进行数据转换。提取所有数据，在本地运行某些数据，然后将其发送回去，这将非常慢。除了访问相关数据之外，您不需要任何外部技术即可使一个视图依赖于另一视图。

理想的工作设计将是Big Query可以处理的SQL查询。如果您尝试链接不同项目之间的表/视图，则必须在SQL查询的projectName.datasetName.tableName子句中以完全指定的格式FROM列出源BQ表。项目名称在Google Cloud中是全球唯一的。

必须正确设置访问数据的权限。 BQ提供对谁可以访问的细粒度控制，它在BQ文档中。如果合适，您还可以启用对所有BQ用户的公共访问。

有了该SQL查询后，您就可以通过命令行（bq工具），Web控制台或API将SQL发送到Google BigQuery来create a new view。

Answer 2

1）您可以在DataStage中使用BigQuery Connector来读取和写入bigquery。

2）Bigquery使用格式为project.dataset.table的名称空间访问projects中的表。这样一来，您就可以像在同一数据库中一样在GCP中处理数据。

要操作数据，可以使用DML或standard SQL。

要执行查询，您可以使用GCP Web console或诸如python or java之类的客户端库。

3）BigQuery是一种RESTful Web服务，使用HTTPS