使用大查询流时如何监视加载到BQ表中的记录数?

时间:2019-03-26 12:27:39

标签: google-cloud-platform google-bigquery google-cloud-dataflow google-cloud-stackdriver

我们正在尝试使用数据流将数据插入到bigquery(流)中。有没有办法可以检查Bigquery中插入的记录数?我们需要这些数据以进行对帐。

2 个答案:

答案 0 :(得分:1)

在数据流中添加一个调用Google API Tables.get的步骤,或者在数据流的前后都运行此查询(两者都很好)。

CREATE TYPE [dbo].[t] AS TABLE([a] [int] NOT NULL PRIMARY KEY CLUSTERED)
create table #t (a int)
insert into #t values (1), (2), (3)
exec sp_executesql N'select * from #t'
declare @t t
insert into @t select a from #t
exec sp_executesql N'Select * from @p1', N'@p1 t readonly', @t

作为示例,查询返回此结果

enter image description here

答案 1 :(得分:1)

您也可以通过点击Dataflow UI中写入bigquery的步骤来检查“添加的元素”。