从表中读取BigQuery数值数据类型

时间:2018-05-30 17:30:23

标签: google-bigquery google-cloud-dataflow apache-beam

在Apache Beam中读取BQ表NUMERIC数据类型的数据仍然不支持,但使用API​​我可以在BQ中使用NUMERIC数据类型。

因此,在使用以下代码段从BQ读取数据时:

BigQueryIO.readTablerow().from(options.valueprovider);

我有一个例外数字不支持

如果除了RestAPI呼叫之外还有NUMERIC字段,我还能以其他方式从BQ读取数据。

1 个答案:

答案 0 :(得分:2)

Dataflow现在使用Java库支持reading NUMERIC from BigQuery。在撰写本文时,您将需要download a snapshot release或等到下一个official Beam release才能使用此功能。

编辑:如果要下载Beam的当前版本,可以这样做:

~$ git clone https://github.com/apache/beam.git

然后,您可以使用Gradle build任务,例如:

~$ cd beam
~/beam$ ./gradlew build

或将其用作开发环境,或者为Eclipse生成文件:

~/beam$ ./gradlew -p sdks/java/build-tools/ eclipse

您可以找到有关使用Gradle in the Gradle user documentation的更多信息。