我有一个非常大的训练数据集,大约15gb,我无法将其放入我的计算机内存中以训练任何类型的回归模型。数据集的每个样本是4d矩阵。您可以将样本展平为矢量,但该矢量的维数更大,是否可以使用任何方法来减少样本的维度以训练线性回归模型?
答案 0 :(得分:0)
我建议您尝试以下测试,因为您使用的是线性模型。这是迈向最终解决方案的一步,应该让您了解最终解决方案的外观。
过滤数据,以便为每个维度提供最大值,最小值和中值。这应该会产生一个计算合理的工作数据集,并且对这个较小的数据集进行回归将为您提供最终解决方案参数的一些可行的想法。