标签： pandas numpy machine-learning neural-network keras
我正在尝试在数据帧中的某些中型数据上训练神经网络。它在内存中处理得太大，但对于数据库类型机制来说太小（火花）。我可以将大部分数据加载到稀疏的数据帧~60 + GB。但是，当我尝试使用生成器将部分内容传递给我的keras串口NN时，我最终得到了内存错误。
我认为可能会拆分数据，只是加载numpy或pandas array / df然后输入网络将是要走的路，但我读过的所有内容都说会减慢速度。我想知道是否还有其他方式我还没有找到......任何见解都会受到赞赏！