在Apache Beam中读取BQ表NUMERIC数据类型的数据仍然不支持,但使用API我可以在BQ中使用NUMERIC数据类型。
因此,在使用以下代码段从BQ读取数据时:
BigQueryIO.readTablerow().from(options.valueprovider);
我有一个例外数字不支持。
如果除了RestAPI呼叫之外还有NUMERIC字段,我还能以其他方式从BQ读取数据。
答案 0 :(得分:2)
Dataflow现在使用Java库支持reading NUMERIC
from BigQuery。在撰写本文时,您将需要download a snapshot release或等到下一个official Beam release才能使用此功能。
编辑:如果要下载Beam的当前版本,可以这样做:
~$ git clone https://github.com/apache/beam.git
然后,您可以使用Gradle build
任务,例如:
~$ cd beam
~/beam$ ./gradlew build
或将其用作开发环境,或者为Eclipse生成文件:
~/beam$ ./gradlew -p sdks/java/build-tools/ eclipse
您可以找到有关使用Gradle in the Gradle user documentation的更多信息。