我有一个现有的Google BigQuery表,其中包含大约30个字段。我想开始定期自动将数据添加到该表中。我已经安装了命令行工具,它们可以正常工作。
我对将数据追加到表的正确处理感到困惑。每次要追加数据时,是否都需要为表指定整个架构?在avro文件中重新创建架构感觉很奇怪。该表已经存在。
有人可以说明如何做到吗?
答案 0 :(得分:2)
我是否需要每次为表指定整个架构
不,您不需要这样做。如BigQuery official documentation
中所述模式自动检测不适用于Avro文件,Parquet文件,ORC文件,Cloud Firestore导出文件或Cloud Datastore导出文件。当您将这些文件加载到BigQuery中时,表架构会从自描述源数据中自动检索。