split-apply-combine to sklearn pipeline

时间:2016-09-19 10:11:49

标签: python scikit-learn

我正在尝试使用sklearn生成管道,并且我不确定如何去做。这是一个最小的例子:

def numFeat(data):
    return data[['AGE', 'WASTGIRF']]

def catFeat(data):
    return pd.get_dummies(data[['PAI', 'smokenow1']])

features = FeatureUnion([('f1',FunctionTransformer(numFeat)),
                         ('f2',FunctionTransformer(catFeat))  ] )

pipeline = Pipeline( [('f', features), ('lm',LinearRegression())] )

data = pd.DataFrame({'AGE':[1,2,3,4], 
                     'WASTGIRF': [23,5,43,1], 
                     'PAI':['a','b','a','d'], 
                     'smokenow1': ["lots", "some", "none", "some"]})

pipeline.fit(data, y)
print pipeline.transform(data)

在上面的示例中,data是一个Pandas DataFrame,其中包含['AGE', 'WASTGIRF', 'PAI', 'smokenow1']列等。

当然,在FeatureUnion示例中,我想提供更多转换操作,但是,所有转换操作都采用Pandas DataFrame并返回另一个Pandas DataFrame。所以实际上,我想做这样的事情......

data --+-->num features-->num transforms--+-->FeatureUnion-->model
       |                                  |
       +-->cat features-->cat transforms--+

我该怎么做?

对于上面的示例,我得到的错误是......

TypeError: float() argument must be a string or a number

1 个答案:

答案 0 :(得分:1)

您需要使用FunctionTransformer初始化validate=False(IMO这是一个应该更改的错误默认值):

features = FeatureUnion([('f1',FunctionTransformer(numFeat, validate=False)),
                         ('f2',FunctionTransformer(catFeat, validate=False))] )

另见sklearn pipeline - how to apply different transformations on different columns