我想从生成器列表中创建dask.Bag（或dask.Array）。问题是发电机（评估时）对于内存来说太大了。
delayed_array = [delayed(generator) for generator in list_of_generators]
my_bag = db.from_delayed(delayed_array)
NB list_of_generators就是这样 - 生成器尚未消耗（尚未）。
我的问题是，在创建delayed_array时，会消耗生成器并且RAM已耗尽。有没有办法在没有先消耗它们的情况下将这些长列表放入Bag，或者至少以块的形式消耗它们以使RAM保持较低？
NNB我可以将生成器写入磁盘，然后将文件加载到Bag - 但我想我可能可以使用dask来解决这个问题？
答案 0 :(得分：1)
Dask.bag的一个不错的子集可以使用大型迭代器。您的解决方案几乎是完美的，但您需要提供一个在调用时创建生成器而不是生成器本身的函数。
In [1]: import dask.bag as db
In [2]: import dask
In [3]: b = db.from_delayed([dask.delayed(range)(i) for i in [100000000] * 5])
In [4]: b
Out[4]: dask.bag<bag-fro..., npartitions=5>
In [5]: b.take(5)
Out[5]: (0, 1, 2, 3, 4)
In [6]: b.sum()
Out[6]: <dask.bag.core.Item at 0x7f852d8737b8>
In [7]: b.sum().compute()
Out[7]: 24999999750000000
但是，肯定有一些方法可以咬你。一些稍微复杂的dask bag操作确实需要使分区具体化，这可能会破坏RAM。