将数据从KNIME上传到Bigquery / GCS

Question

我将KNIME的数据库连接和数据库编写器与Simba的JDBC驱动程序结合使用，以尝试将数据集上传为BigQuery表。

但是，我无法正常工作。例如，我不知道在哪里指定BiqQuery数据集。是否必须在数据库连接节点的连接URL中添加它？如果是这样，我是否需要一个新参数？

有人是否有从KNIME上载数据到BigQuery的经验，或者知道解决方法（例如使用GCS）？

Answer 1

下载SIMBA驱动程序时，您会在名为 Simba JDBC Driver for Google BigQuery安装和配置指南的pdf文件文件夹中找到该文件。在那里，您会发现连接URL取决于您使用的身份验证类型。您将看到您没有在Database Connection节点中指定数据集，而仅在ProjectId中指定。在Database Writer节点中，您将指定数据集和表。

您可以在此处找到有关在BigQuery中加载数据的更多信息： https://cloud.google.com/bigquery/docs/loading-data

根据我的经验，我发现将数据加载到BigQuery并不容易。