我已经能够使用pandas-gbq
package从Pandas数据框中追加/创建一个表。特别是使用to_gbq
method。但是,当我想使用BigQuery Web UI检查表时,我看到以下消息:
此表在流缓冲区中包含可能在预览中不可见的记录。
我不是唯一要问的人,似乎是there's no solution to this yet。
所以我的问题是:
1.是否有上述问题的解决方案(即数据在Web UI中不可见)
2.如果(1)没有解决方案,是否有另一种方法可以使用Python BigQuery API将数据附加到现有表? (请注意,文档说我可以通过running an asynchronous query并使用writeDisposition=WRITE_APPEND
来实现此目的,但link that it provides并未解释如何使用它,我无法解决这个问题。
答案 0 :(得分:0)
该消息只是一个UI通知,它不应该阻止你。
要检查数据,请运行一个简单的查询,看看它是否存在。
要仅读取仍在Streaming Buffer中的数据,请使用以下查询:
#standardSQL
SELECT count(1)
FROM `dataset.table` WHERE _PARTITIONTIME is null