如何使用Python BigQuery API附加到BigQuery中的表

时间:2017-03-08 15:13:39

标签: python pandas google-bigquery

我已经能够使用pandas-gbq package从Pandas数据框中追加/创建一个表。特别是使用to_gbq method。但是,当我想使用BigQuery Web UI检查表时,我看到以下消息:

  

此表在流缓冲区中包含可能在预览中不可见的记录。

我不是唯一要问的人,似乎是there's no solution to this yet

所以我的问题是:
1.是否有上述问题的解决方案(即数据在Web UI中不可见) 2.如果(1)没有解决方案,是否有另一种方法可以使用Python BigQuery API将数据附加到现有表? (请注意,文档说我可以通过running an asynchronous query并使用writeDisposition=WRITE_APPEND来实现此目的,但link that it provides并未解释如何使用它,我无法解决这个问题。

1 个答案:

答案 0 :(得分:0)

该消息只是一个UI通知,它不应该阻止你。

要检查数据,请运行一个简单的查询,看看它是否存在。

要仅读取仍在Streaming Buffer中的数据,请使用以下查询:

#standardSQL    
SELECT count(1) 
FROM `dataset.table` WHERE _PARTITIONTIME is null