如何将大型发电机转换为数据框

Question

我使用helpers.scan与ElasticSearch连接，并创建了一个包含3Millon以上数据的生成器。

res = helpers.scan(
    client=client, scroll='2m', index="my_index", preserve_order=True,
    query={MY QUERY....})

因此，我想在数据框中转换此生成器。我用过：

df = pd.DataFrame((i["_source"] for i in res))

最多可以记录一百万条记录，但是如果有更多记录，则会出现以下错误：

文件“ C：\ dev \ python \ lib \ site-packages \ pandas \ core \ frame.py”，行7621，在     arrays = [convert（arr）for content inrr]

文件“ C：\ dev \ python \ lib \ site-packages \ pandas \ core \ frame.py”，行7617，在转换中     arr = lib.maybe_convert_objects（arr，try_float = coerce_float）

pandas._libs.lib.maybe_convert_objects中的文件“ pandas / _libs / src \ inference.pyx”，第1234行

MemoryError

如何创建我的df？