用于稀疏最小二乘回归的工具

Question

我想用几十万个例子来做稀疏高维（几千个特征）最小二乘回归。我很高兴使用非奇特的优化 - 随机梯度下降很好。

有没有人知道已经实现的任何软件，所以我不必写自己的？

亲切的问候。

Answer 1

虽然我不确定，但这让我觉得LAPACK（线性代数包）可以提供支持。他们通常对大矩阵数学感兴趣，包括稀疏矩阵和核外大小。基本版本是FORTRAN，但是C和其他语言的库有端口。

由于LAPACK对其许多基础调用使用BLAS（基本线性代数子程序），您可能还需要查看Sparse BLAS。

Answer 2

我很确定R package可以用于此类问题。它非常强大和灵活。从该页面链接的大量在线资源。

Answer 3

我建议你看看LAPACK。它是一个非常成熟的线性代数库，虽然它与它的接口可能有点棘手，因为它是用Fortran编写的。不过，这很好，因为如果你的功能原型正确，Fortran与CI兼容。

[编辑]进一步审查后，似乎LAPACK不支持稀疏矩阵。它可以出于某些目的处理带状矩阵，但对于线性最小二乘问题，它只支持一般矩阵。