单例数组数组(<function train =“”at =“”0x7f3a311320d0 =“”>,dtype = object)不能被视为有效集合

时间:2017-04-05 05:54:24

标签: python pandas scikit-learn pipeline train-test-split

不确定如何解决。任何帮助非常感谢。我看到了Vectorization: Not a valid collection,但不确定我是否理解这个

    ----> 6 train(trial1, train, target)

    <ipython-input-140-ac0e8d32795e> in train(classifier, X, y)
          1 def train(classifier, X, y):
    ----> 2     X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=33)
          3 
          4     classifier.fit(X_train, y_train)
          5     print ("Accuracy: %s" % classifier.score(X_test, y_test))

    /home/manisha/anaconda3/lib/python3.5/site-packages/sklearn/model_selection/_split.py in train_test_split(*arrays, **options)
       1687         test_size = 0.25
       1688 
    -> 1689     arrays = indexable(*arrays)
       1690 
       1691     if stratify is not None:

    /home/manisha/anaconda3/lib/python3.5/site-packages/sklearn/utils/validation.py in indexable(*iterables)
        204         else:
        205             result.append(np.array(X))
    --> 206     check_consistent_length(*result)
        207     return result
        208 

    /home/manisha/anaconda3/lib/python3.5/site-packages/sklearn/utils/validation.py in check_consistent_length(*arrays)
        175     """
        176 
    --> 177     lengths = [_num_samples(X) for X in arrays if X is not None]
        178     uniques = np.unique(lengths)
        179     if len(uniques) > 1:

    /home/manisha/anaconda3/lib/python3.5/site-packages/sklearn/utils/validation.py in <listcomp>(.0)
        175     """
        176 
    --> 177     lengths = [_num_samples(X) for X in arrays if X is not None]
        178     uniques = np.unique(lengths)
        179     if len(uniques) > 1:

    /home/manisha/anaconda3/lib/python3.5/site-packages/sklearn/utils/validation.py in _num_samples(x)
        124         if len(x.shape) == 0:
        125             raise TypeError("Singleton array %r cannot be considered"
    --> 126                             " a valid collection." % x)
        127         return x.shape[0]
        128     else:

    TypeError: Singleton array array(<function train at 0x7f3a311320d0>, dtype=object) cannot be considered a valid collection.

 ____

错误如下:

{{1}}

不确定如何解决。任何帮助非常感谢。我看到了Vectorization: Not a valid collection,但不确定我是否理解这个

6 个答案:

答案 0 :(得分:7)

我在另一个上下文(sklearn train_test_split)中遇到了同样的错误,原因很简单,我只是将位置参数作为关键字参数传递了,这导致了被调用函数的错误解释。

答案 1 :(得分:6)

出现此错误是因为您的函数train会屏蔽变量train,因此会将其传递给自身。

<强>解释

您可以像这样定义变量火车:

train = df1.iloc[:,[4,6]]

然后在一些行之后,你定义一个这样的方法训练:

def train(classifier, X, y):

实际上,实际发生的是,您之前版本的train更新了新版本。这意味着train现在不会指向您想要的Dataframe对象,而是指向您定义的函数。在错误中它被清除。

array(<function train at 0x7f3a311320d0>, dtype=object)

请参阅错误声明中的功能列表

<强>解决方案

重命名其中一个(变量或方法)。 建议:将该功能重命名为其他名称,例如trainingtraining_func或类似名称。

答案 2 :(得分:1)

第一个答案的变体-可能得到此结果的另一个原因是,如果数据中的列名与包含数据的对象的属性/方法相同。

就我而言,我试图使用表面上合法的语法df.count访问数据帧“ df”中的“ count”列。

但是,计数被认为是pandas数据框对象的属性。由此产生的名称冲突会造成(而不是令人困惑的)错误。

答案 3 :(得分:0)

我在sklearn.model_selection train_test_split中遇到了相同的错误,但是在我的情况下,原因是我向函数提供了一个从spark数据帧派生的数组,而不是从Pandas数据帧派生的数组。当我使用如下所示的toPandas()函数将数据从转换为pandas数据框,然后将pandas df提供给train_test_split时,此问题已解决。

pandas_df=spark_df.toPandas()

错误:

features_to_use = ['Feature1', 'Feature2']
x5D = np.array(spark_df[ features_to_use ])
y5D = np.array(spark_df['TargetFeature'])
X_train, X_test, y_train, y_test = train_test_split(x5D, y5D, train_size=0.8)

已修复:

pandas_df=spark_df.toPandas()
features_to_use = ['Feature1', 'Feature2']
x5D = np.array(pandas_df[ features_to_use ])
y5D = np.array(pandas_df['TargetFeature'])
X_train, X_test, y_train, y_test = train_test_split(x5D, y5D, train_size=0.8)

答案 4 :(得分:0)

就我而言,我只是通过转到File-> open重新打开了项目。

以某种方式重新加载所有内容并重新开始工作。

答案 5 :(得分:0)

对于使用pyTorch DataLoaders的用户-使用数据集功能:

for idx1, idx2 in kfold.split(train_dl.dataset)

这里train_dl是一个DataLoader