如何处理熊猫中的小块数据?

时间:2019-07-01 16:12:43

标签: python sql-server pandas

我正在尝试使用chunksize参数后处理数据。我收到一个错误,因为它没有将迭代器转换为数据帧。

pdvs = dbu.readFromSQL("SELECT GOOGLE.* \
                           ,creation_time \
                        FROM [dbo].[DM_SOURCE_GOOGLE_DETAILS] AS GOOGLE\
                        JOIN \
                        ( \
                            SELECT place_id \
                                ,max(datetime) AS datetime \
                                , min(datetime) AS creation_time \
                            FROM [dbo].[DM_SOURCE_GOOGLE_DETAILS] \
                            GROUP BY place_id \
                        )AS date_updated \
                        ON GOOGLE.datetime = date_updated.datetime \
                            AND GOOGLE.place_id = date_updated.place_id", chunksize = 5
                       )

combined = pd.DataFrame(pdvs)
# get address
combined['valid'] = True

但是转换无法正常进行。我收到以下错误  “生成器”对象不支持项目分配

0 个答案:

没有答案