Question

我正在尝试创建一个sklearn.compose.ColumnTransformer管道来转换分类和连续输入数据：

import pandas as pd

from sklearn.base import TransformerMixin, BaseEstimator
from sklearn.preprocessing import OneHotEncoder, FunctionTransformer
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer, make_column_transformer
from sklearn.impute import SimpleImputer

df = pd.DataFrame(
    {
            'a': [1, 'a', 1, np.nan, 'b'],
            'b': [1, 2, 3, 4, 5],
            'c': list('abcde'),
            'd': list('aaabb'),
            'e': [0, 1, 1, 0, 1],
    }
)

for col in df.select_dtypes('object'):
    df[col] = df[col].astype(str)

categorical_columns = list('acd')
continuous_columns = list('be')

categorical_transformer = OneHotEncoder(sparse=False, handle_unknown='ignore')
continuous_transformer = 'passthrough'

column_transformer = ColumnTransformer(
    [
        ('categorical', categorical_transformer, categorical_columns),
        ('continuous', continuous_transformer, continuous_columns),
    ]
    ,
    sparse_threshold=0.,
    n_jobs=-1
)

X = column_transformer.fit_transform(df)

我想访问此转换管道创建的功能名称，所以我尝试这样做：

column_transformer.get_feature_names()

哪个加薪：

NotImplementedError: get_feature_names is not yet supported when using a 'passthrough' transformer.

由于从技术上讲我没有对列b和e做任何事情，因此我可以在对所有其他功能进行一次热编码之后将它们附加到X上，但是我可以使用scikit基类之一（例如TransformerMixin，BaseEstimator或FunctionTransformer）添加到此管道中，这样我可以掌握连续功能以非常友好的方式命名？

也许是这样的

class PassthroughTransformer(FunctionTransformer, BaseEstimator):
    def fit(self):
        return self
    def transform(self, X)
        self.X = X
        return X
    def get_feature_names(self):
        return self.X.values.tolist()

continuous_transformer = PassthroughTransformer()

column_transformer = ColumnTransformer(
    [
        ('categorical', categorical_transformer, categorical_columns),
        ('continuous', continuous_transformer, continuous_columns),
    ]
    ,
    sparse_threshold=0.,
    n_jobs=-1
)

X = column_transformer.fit_transform(df)

但这会引发以下异常：

TypeError: Cannot clone object '<__main__.PassthroughTransformer object at 0x1132ddf60>' (type <class '__main__.PassthroughTransformer'>): it does not seem to be a scikit-learn estimator as it does not implement a 'get_params' methods.

Answer 1

这里有多个问题：

由于并行处理而无法克隆对象错误：

默认情况下，scikit-learn在管道和类似对象（FeatureUnion，ColumnTransformer等）或交叉验证（pickle）中工作时，会克隆（使用cross_val_score）提供的转换器和估计器。，GridSearchCV等。

现在，您已经在n_jobs=-1中指定了ColumnTransformer，这在代码中引入了多处理功能。 Python的内置酸洗不适用于多处理。因此是错误。

选项：
1. 将n_jobs = 1设置为不使用多重处理。仍然需要根据第2点和第3点更正代码。
2. 如果要使用多处理，那么最简单的解决方案是在单独的文件（模块）中定义自定义类，然后将其导入到主文件中。像这样：
在名为 custom_transformers.py 的同一文件夹中创建一个新文件，其内容为：
```
from sklearn.base import TransformerMixin, BaseEstimator

# Changed the base classes here, see Point 3
class PassthroughTransformer(BaseEstimator, TransformerMixin):

    # I corrected the `fit()` method here, it should take X, y as input
    def fit(self, X, y=None):
        return self

    def transform(self, X):
        self.X = X
        return X

    # I have corrected the output here, See point 2
    def get_feature_names(self):
        return self.X.columns.tolist()
```
现在在您的主文件中，执行以下操作：
```
from custom_transformers import PassthroughTransformer
```
有关更多信息，请参见以下问题：
- Python multiprocessing pickling error
- Python: Can't pickle type X, attribute lookup failed
- Custom sklearn pipeline transformer giving "pickle.PicklingError"（我建议采用此解决方法）
您返回self.X.values.tolist()：-

这里X是熊猫DataFrame，因此X.values.tolist()将返回您指定的列的实际数据，而不是列名。因此，即使您解决了第一个错误，您也会在此遇到错误。改正为：
```
return self.X.columns.tolist()
```

（次要）类继承：

您将PassthroughTransformer定义为：

PassthroughTransformer(FunctionTransformer, BaseEstimator)

FunctionTransformer已经从BaseEstimator继承了，所以我认为没有必要从BaseEstimator继承。您可以通过以下方式对其进行更改：

class PassthroughTransformer(FunctionTransformer):

                       OR
# Standard way 
class PassthroughTransformer(BaseEstimator, TransformerMixin):

希望这会有所帮助。

将get_feature_names添加到ColumnTransformer管道

1 个答案: