Question

我正在尝试从sklearn中相当大的一组特征（〜6,100,000）中获得特征等级。到目前为止，这是我的代码：

train, test = train_test_split(rows, test_size=0.2, random_state=310)
train, val = train_test_split(train, test_size=0.25, random_state=310)
train_target = [i[-1] for i in train]

svc = SVC(verbose=5, random_state=310, kernel='linear')
svc.fit([i[1:-1] for i in train], train_target)

model=svc
rfe = RFE(model, verbose=5, step=1, n_features_to_select=1)
rfe.fit([i[1:-1] for i in train], train_target)
rank = rfe.ranking_

每次训练该模型大约需要10分钟。 610万个功能，这意味着几十年的计算时间。实际上是115.9年。还有更好的方法吗？我知道rfe需要最后淘汰的结果，但是有什么办法可以通过并行化或以其他方式获得排名来加快速度？我可以使用数千个节点（感谢我工作的公司！），所以任何一种并行性都很棒！

我确实具有线性SVM超平面的列表系数。排序这些命令很容易，但是要完成的论文将由斯坦福大学数据科学教授进行审查，他坚决反对使用非排名算法进行排名...以及非斯坦福校友我。：P

我可以使用更大的step，但这会消除对所有功能进行实际排名的能力。而是我将100,000个或10,000个功能的组进行排名，这并不是超级有用。

编辑：nSV可能有用，所以我将其包括在下面：

obj = -163.983323, rho = -0.999801
nSV = 182, nBSV = 148
Total nSV = 182

Answer 1

您应该使用其他算法。关于如何加快功能选择的研究很多。 RFE的计算复杂性禁止使用大量功能。对于高维数据，应考虑使用方法，例如 FBED （向前-向后-早期下降）， OMP （正交匹配）， SES （统计等效签名）， LASSO 等。

Fbed https://arxiv.org/abs/1705.10770

OMP https://arxiv.org/abs/2004.00281

SES https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-018-2023-7

LASSO https://ieeexplore.ieee.org/document/7887916

如何加快对6,100,000个功能的递归功能消除？

1 个答案: