使用bq API时。我注意到从本地计算机获取大表相当耗时。就是在那个时候出现了一个问题,如果我将项目部署到GCP,是否可以使其更快地工作?
我仔细阅读了GCP提供的所有文档,并没有发现对Google bq的任何特殊处理,以防我的应用程序部署在GCP上:
https://cloud.google.com/bigquery/docs/quickstarts/quickstart-client-libraries
https://cloud.google.com/bigquery/docs/query-overview
google bq不能更快运行并且如果将其部署在GCP上也不能使其运行得更快吗?
我担心的是,如果google bq主机是本地的,那么GCP可以使用其他协议和技术进行数据传递,那么我会使用http请求到远程主机从google bq传递数据。
答案 0 :(得分:0)
签出storage API,以获得更快的表读取方式。
BigQuery支持名为tabledata.list的API,该API是免费的,但传输大量行的速度不是很快。 BigQuery最近发布了上面测试版中链接的新存储API,但是该API具有不同的后端实现,并支持并行读取以更快地传输数据。