我搜索并测试了不同的方法,以查找是否可以将bigquery数据帧拆分为75行的块,但找不到找到的方法。这是Senario:
我使用python和gcp SDK获得了一个非常大的bigquery数据框(数百万行):
from google.cloud import bigquery
def returnBQResult(sqlQuery):
bqClient = bigquery.Client()
query_job = bqClient.query(sqlQuery)
return query_job.to_dataframe()
我正在寻找类似于以下numpy代码的内容,但使用dask并并行进行:
dfBQResults=returnBQResult(sql)
result=numpy.array_split(dfBQResults,75)