Question

考虑如下数据：

from sklearn.preprocessing import OneHotEncoder
import numpy as np
dt = 'object, i4, i4'
d = np.array([('aaa', 1, 1), ('bbb', 2, 2)], dtype=dt)

我想使用OHE功能排除文本列。

为什么以下不起作用？

ohe = OneHotEncoder(categorical_features=np.array([False,True,True], dtype=bool))       
ohe.fit(d)
ValueError: could not convert string to float: 'bbb'

它在documentation中说：

categorical_features: “all” or array of indices or mask :
  Specify what features are treated as categorical.
   ‘all’ (default): All features are treated as categorical.
   array of indices: Array of categorical feature indices.
   mask: Array of length n_features and with dtype=bool.

我使用了一个遮罩，但它仍然试图转换为浮动。

即使使用

ohe = OneHotEncoder(categorical_features=np.array([False,True,True], dtype=bool), 
                    dtype=dt)        
ohe.fit(d)

同样的错误。

并且在＆＃34;索引数组的情况下＆＃34;：

ohe = OneHotEncoder(categorical_features=np.array([1, 2]), dtype=dt)        
ohe.fit(d)

Answer 1

我认为这里有些混乱。您仍然需要输入数值，但在encoder范围内，您可以指定哪些值不是分类值。

此变换器的输入应为整数矩阵，表示分类（离散）特征所采用的值。

因此，在下面的示例中，我将aaa更改为5，将bbb更改为6。这样，它将与1和2数值区分开来：

d = np.array([[5, 1, 1], [6, 2, 2]])
ohe = OneHotEncoder(categorical_features=np.array([True,False,False], dtype=bool))
ohe.fit(d)

现在您可以检查您的要素类别：

ohe.active_features_
Out[22]: array([5, 6], dtype=int64)

Answer 2

您应该了解Scikit-Learn中的所有估算器都是专为数字输入而设计的。因此，从这个角度来看，将文本列留在这种形式是没有意义的。你必须用数字转换那个文本列，或者去除它。

如果您从Pandas DataFrame获取数据集 - 您可以查看这个小包装器：https://github.com/paulgb/sklearn-pandas。它将帮助您同时转换所有需要的列（或以数字形式保留一些行）

import pandas as pd
import numpy as np
from sklearn_pandas import DataFrameMapper
from sklearn.preprocessing import OneHotEncoder

data = pd.DataFrame({'text':['aaa', 'bbb'], 'number_1':[1, 1], 'number_2':[2, 2]})

#    number_1  number_2 text
# 0         1         2  aaa
# 1         1         2  bbb

# SomeEncoder here must be any encoder which will help you to get
# numerical representation from text column
mapper = DataFrameMapper([
    ('text', SomeEncoder),
    (['number_1', 'number_2'], OneHotEncoder())
])
mapper.fit_transform(data)

Answer 3

我遇到了同样的行为并发现它令人沮丧。正如其他人所指出的那样，Scikit-Learn在考虑选择categorical_features参数中提供的列之前，要求所有数据都是数字的。

具体来说，列选择由/sklearn/preprocessing/data.py中的_transform_selected()方法处理，该方法的第一行是

X = check_array(X, accept_sparse='csc', copy=copy, dtype=FLOAT_DTYPES)。

如果提供的数据框X中的任何数据无法成功转换为浮点数，则此检查将失败。

我同意sklearn.preprocessing.OneHotEncoder的文件在这方面具有误导性。

onehotencoder的sklearn掩码不起作用

3 个答案: