使用统计模型进行特征选择

Question

问题陈述：：

我正在研究一个必须预测客户是否选择贷款的问题。我已将所有可用的数据类型（对象，整数）转换为整数，现在我的数据如下所示。

突出显示的列是我的 Target 列，其中

0 表示是

1 表示否

此数据集中有 47个独立列。

我想在我的 Target 列上对这些列进行功能选择！

我从 Z检验

开始

import numpy as np
import scipy.stats as st
import scipy.special as sp


def feature_selection_pvalue(df,col_name,samp_size=1000):
    relation_columns=[]
    no_relation_columns=[]
    H0='There is no relation between target column and independent column'
    H1='There is a relation between target column and independent column'
    sample_data[col_name]=df[col_name].sample(samp_size)
    samp_mean=sample_data[col_name].mean()
    pop_mean=df[col_name].mean()
    pop_std=df[col_name].std()
    print (pop_mean)
    print (pop_std)
    print (samp_mean)
    n=samp_size
    q=.5
    #lets calculate z
    #z = (samp_mean - pop_mean) / np.sqrt(pop_std*pop_std/n)
    z = (samp_mean - pop_mean) / np.sqrt(pop_std*pop_std / n)
    print (z)
    pval = 2 * (1 - st.norm.cdf(z))
    print ('p values is==='+str(pval))
    if pval< .05 :
        print ('Null hypothesis is Accepted for col ---- >'+H0+col_name)

        no_relation_columns.append(col_name)
    else:
        print ('Alternate Hypothesis is accepted -->'+H1)
        relation_columns.append(col_name)
        print ('length of list ==='+str(len(relation_columns)))


    return relation_columns,no_relation_columns

运行此功能时，我总是得到不同的结果

for items in df.columns:
    relation,no_relation=feature_selection_pvalue(df,items,5000)

我的问题是

1. 在z-Test之上，当每次结果不同时，这是进行特征选择的可靠方法
2. 在这种情况下，进行特征选择的更好方法是什么？

Answer 1

  

在这种情况下，有什么更好的方法来进行特征选择，   如有可能，请提供示例

您可以使用scikit吗？他们提供了许多示例和方法来选择您的功能： https://scikit-learn.org/stable/modules/feature_selection.html

如果我们看第一个（方差阈值）：

from sklearn.feature_selection import VarianceThreshold
X = df[['age', 'balance',...]] #select your columns
sel = VarianceThreshold(threshold=(.8 * (1 - .8)))
X_red = sel.fit_transform(X)

例如，这将仅保留具有一定差异且不具有相同值的列。