快速算法确定乘积和多项式的最佳权重?

时间:2018-08-29 21:52:51

标签: algorithm math mathematical-optimization polynomials

我正在寻找一种比蛮力更快的算法,以解决以下问题中的最佳系数(即权重):

样本定义为一系列 N 个数字。在这种情况下,说N = 10。样本数量 M 非常大,例如M = 1000000。本质上,这是M行X N列的矩阵。因此,这些样本集如下所示:

S_0_0  S_0_1 S_0_2 ... S_0_N
S_1_0  S_1_1 S_1_2 ... S_1_N
...
S_M_0  S_M_1 S_M_2 ... S_M_N

此外,还有一系列相应的N个权重。权重系列的数量 P 也很大,例如P = 2000000。这是P行X N列的另一个矩阵。它看起来类似于样本集:

W_0_0  W_0_1 S_0_2 ... W_0_N
W_1_0  W_1_1 S_1_2 ... W_1_N
...
W_P_0  W_P_1 S_P_2 ... W_P_N

我正在尝试找到一系列权重(即权重集中的右行),以最大化以下总和(即, x 的哪一行):

W_x_0 * S_0_0  +  W_x_1 * S_0_1  + ... +  W_x_N * S_0_N +
W_x_0 * S_1_0  +  W_x_1 * S_1_1  + ... +  W_x_N * S_1_N +
...
W_x_0 * S_M_0  +  W_x_1 * S_M_1  + ... +  W_x_N * S_M_N

两组数据( W s和 S s)均从文件中加载。 S 是x86 CPU支持的整个范围内的双精度浮点数(负数到正数)。我们可以假设的 W 是整数。

这样做的蛮力方法非常简单:对于每个权重行,将其乘以样本集中的每个样本行,同时保持一个连续的总和。跟踪每个重量行的总和,并在最后选择最佳。

现在,我认为权重集合的组成部分中有一个更智能/更快的算法的空间。我们可以假设权重集中每行只有一个数字发生变化。因此权重集可能看起来像这样(为简便起见,这里N = 5):

1 1 1 1 1
1 1 1 1 2
1 1 1 2 2
1 1 2 2 2
1 2 2 2 2
2 2 2 2 2
2 2 2 2 1
2 2 2 1 1
2 2 1 1 1

以此类推。

换句话说,在蛮力方法中,显然会有很多冗余计算。如果数据集不是那么庞大,那么一个想法就是为每个样本权重产品创建一个地图/缓存,并在计算之前对其进行检查。但是考虑到数据集的大小,我认为内存使用量会太高。我的直觉还说,查找地图/缓存可能比执行朴素乘法慢。

有人知道合适的算法或库吗?

编辑1:我在原始帖子中有一个错字:权重设置错误地显示了从一行到下一行的两个变化。实际上,每行只能进行一次更改。此外,不要过多地了解更改的“模式”:主要思想是每行只有一个更改,但是可以修改实际存在的更改以适应特定算法。

编辑2:认为示例权重集现在实际上仅显示每行一次更改。

1 个答案:

答案 0 :(得分:5)

至少要注意

W_x_0 * S_0_0  +  W_x_1 * S_0_1  + ... +  W_x_N * S_0_N +
W_x_0 * S_1_0  +  W_x_1 * S_1_1  + ... +  W_x_N * S_1_N +
...
W_x_0 * S_M_0  +  W_x_1 * S_M_1  + ... +  W_x_N * S_M_N

等于

W_x_0 * (S_0_0 + S_1_0 +...S_M_0) +
W_x_1 * (S_0_1 + S_1_1 +...S_M_1) +
...
W_x_N * (S_0_N + S_1_N +...S_M_N)

这意味着我们可以对S求和,然后对列表中的每个权重向量运行操作。

可能有一个基于“最远点查询”(在多个维度上)的优化,虽然我对此并不了解,但是会尝试进行调查。