我们如何将大型数据集从Google BigQuery导入R？

Question

我们如何将大型数据集从Google BigQuery导入到R？

我尝试使用BigQuery软件包并尝试导入。我能够成功导入较小的数据集，但无法导入大型数据集

sql <- "SELECT * FROM Table name"

todo_copies <- query_exec(sql, project = 'data-warehouse', dataset = 'name', useLegacySql = FALSE)

  已处理

个字节错误：请求的资源太大而无法返回   [responseTooLarge]

Answer 1

该消息涉及与BQ中的查询作业的Maximum response size相关的限制。如果您write to a detination table，则可以对其进行管理；但是，此选项很可能无法满足您的需求。

请注意，R文档指出query_exec is being deprecated支持bq_project_query，并建议How to load large datasets to R from BigQuery?等其他线程使用：{p>

  

“应在出现错误responseTooLarge时进行调整”