使用dask

时间:2018-09-27 17:34:14

标签: python numpy google-bigquery dask dask-distributed

我搜索并测试了不同的方法,以查找是否可以将bigquery数据帧拆分为75行的块,但找不到找到的方法。这是Senario:

我使用python和gcp SDK获得了一个非常大的bigquery数据框(数百万行):

    from google.cloud import bigquery

    def returnBQResult(sqlQuery):
       bqClient = bigquery.Client()
       query_job = bqClient.query(sqlQuery)
       return query_job.to_dataframe()

我正在寻找类似于以下numpy代码的内容,但使用dask并并行进行:

       dfBQResults=returnBQResult(sql)
       result=numpy.array_split(dfBQResults,75)

0 个答案:

没有答案