Question

是否可以通过API在BigQuery表的架构定义中指定注释？

通过Hadoop连接器

创建BigQuery表时，我使用以下架构

[{"name" : "event_id", "type" : "integer"},{ "name" : "categorization" , "type" : "string" }]

我想要像

这样的东西

[{"name" : "event_id", "type" : "integer", "description" : "The event identifier"},{ "name" : "categorization" , "type" : "string" }]

编辑：我刚用火花连接器尝试了这个但它不起作用。描述仍然是空的

BigQueryConfiguration.configureBigQueryOutput(
      bqConfiguration, projectId, bqDatasetId, bqTable, schema)
    bqConfiguration.set(
      "mapreduce.job.outputformat.class",
      classOf[BigQueryOutputFormat[_,_]].getName)

    new JavaPairRDD(rdd.map((null, _))).saveAsNewAPIHadoopDataset(bqConfiguration)
  }

DOUBLE EDIT：为上下文添加了一些代码

Answer 1

这正是BigQuery为您提供的功能您可以在使用http://tldp.org/LDP/abs/html/string-manipulation.html API创建表格时执行此操作，也可以使用Tables: insert API添加到现有表格中请参阅Tables: patch中使用的相应参数您可以拥有整个表格和每个字段的说明

Answer 2

是的，表字段可以有自己的描述。使用描述发布的模式在发送到API时应该有效。

https://cloud.google.com/bigquery/docs/reference/v2/tables#schema.fields.description

向BigQuery架构定义添加列描述

2 个答案: