一个热门编码错误python机器学习

时间:2018-06-17 10:31:20

标签: python machine-learning one-hot-encoding

我正在使用机器学习中的分类变量。这是我的数据样本:

age,gender,height,class,label
25,m,43,A,0
35,f,45,B,1
12,m,36,C,0
14,f,42,A,0

性别和身高有两个分类变量。我使用过LabelEncoding技术。

我的代码:

import pandas as pd
import numpy as np
from sklearn.preprocessing import LabelEncoder,OneHotEncoder

df=pd.read_csv('test.csv')

X=df.drop(['label'],1)
y=np.array(df['label'])

data=X.iloc[:,:].values

lben = LabelEncoder()
data[:,1] = lben.fit_transform(data[:,1])
data[:,3] = lben.fit_transform(data[:,3])

onehotencoder = OneHotEncoder(categorical_features=[1])
data = onehotencoder.fit_transform(data).toarray()

onehotencoder = OneHotEncoder(categorical_features=[3])
data = onehotencoder.fit_transform(data).toarray()

print(data.shape)

np.savetxt('data.csv',data,fmt='%s')    

data.csv如下所示:

0.0 0.0 1.0 0.0 0.0 1.0 25.0 0.0
0.0 0.0 0.0 1.0 1.0 0.0 35.0 1.0
1.0 0.0 0.0 0.0 0.0 1.0 12.0 2.0
0.0 1.0 0.0 0.0 1.0 0.0 14.0 0.0

我无法理解为什么列是这样的,即'height'列的值在哪里。data.shape也是(4,8)而不是(4,7)ie(由2表示的性别)列和类按3和'年龄'和'高度'特征。

1 个答案:

答案 0 :(得分:1)

您确定需要使用LabelEncoder+OneHotEncoder吗?有一个更简单的方法(不允许执行高级过程,但到目前为止,您似乎在基础知识上工作):

import pandas as pd
import numpy as np

df=pd.read_csv('test.csv')

X=df.drop(['label'],1)
y=np.array(df['label'])

data = pd.get_dummies(X)

当前代码的问题在于,在完成第一个OHE之后:

onehotencoder = OneHotEncoder(categorical_features=[1])
data = onehotencoder.fit_transform(data).toarray()

列移位,第3列实际上是原始height列,而不是标签编码的class列。因此,将第二个更改为使用第4列,您将获得所需的内容。