Keras - 关于性能 - bcolz比使用datagenerator好吗？

Question

我正在努力解决以下几点：

1. 何时应该使用bcolz而不是keras的数据生成器？看起来keras'model有apis接受带批处理的数组或者也定义数据生成器。
2. 使用带有fit() api的bcolz而不是使用带fit_generator()的数据生成器时是否有性能提升？

最后，有一个fastai帖子提到了这个post

的dask
1. dask比bcolz好吗？

谢谢！

Answer 1

1. Keras数据生成器的flow_from_directory（目录）接收＆＃39; PNG，JPG，BMP或PPM＆＃39;只有图像，你可以扩展它，但bcolz是一个快速解决方案。这就是为什么bcolz非常适合预先计算的卷积特征。因此，将这些功能保存为bcolz数组并将其加载到fit_generator的批处理中。
2. fit_generator（）与数据生成器（可能是bcolz datagenerator）将比仅适合bcolz更快。

Dask比bcolz好吗？ Dask不是bcolz的替代品，Dask可以使用bcolz数组。在具有大量数据集的任务中，它可以提高速度，因为它对并行性有很大的支持。 Bcolz是一个很好的压缩数据容器，如果你需要加速，我建议在bcolz之上使用dask。