Question

我正在将多个csv文件读取到一个数据帧中。每个文件包含几列和几行数据，我试图从中建立一个模型来将每个文件分类为目标标签“ 1”或目标标签“ 0”。我已经能够按“文件”对列进行分组，并且每个功能都包含多个值。我正在尝试将数据正确地分成训练和测试集，以便可以构建SVM模型来预测正确的标签。

用给定的数据结构构建模型的好方法是什么？尝试建立模型时，使用哪个数据框会更有效。

我尝试用'file'索引，其功能（％CPU）和目标值。

    os.chdir("E:\Research Machine Learning\ComputerDebugging\\bugfree")
    extension = 'csv'
    all_files2 = [i for i in glob.glob('*.{}'.format(extension))]

    df2 = pd.DataFrame(columns=["%CPU","PID",'TimeStamp',])
    fields=["%CPU","PID",'TimeStamp']
    files2 = []

    for f in all_files2:
        bugfree = pd.read_csv(f, header=0,usecols=fields,nrows=125)
        bugfree.sort_values(by=['TimeStamp','PID'], inplace=True)
        for i in  range(bugfree.shape[0]):
            files2.append(f)

        df2 = df2.append(bugfree)

    df2['target']=0
    df2['file'] = files2

    df2 = df2.drop(["PID","TimeStamp"], axis=1)
    df2 = df2.set_index(['file','target']).stack()

第一个数据框：

df3
                                                                %CPU  target
finalprod1.csv     [20.0, 0.0, 0.0, 0.0, 0.0, 0.0, 50.0, 50.0, 50...       1
finalprod10.csv    [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...       1
finalprod100.csv   [33.3, 33.3, 0.0, 0.0, 33.3, 0.0, 16.7, 16.7, ...       1
finalprod11.csv    [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...       1
finalprod12.csv    [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 25.0, 25.0, 25....       1
finalprod13.csv    [0.0, 0.0, 33.3, 0.0, 0.0, 0.0, 25.0, 50.0, 0....       1
finalprod14.csv    [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, ...       1
...
finalprodBF72.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0
finalprodBF73.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0
finalprodBF74.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0
finalprodBF75.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0
finalprodBF76.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0
finalprodBF77.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0
finalprodBF78.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0
finalprodBF79.csv  [0, 1, 2, 3, 4, 5, 0, 1, 2, 3, 4, 5, 0, 1, 2, ...       0

我还以这种结构构建了数据框：

    os.chdir("E:\Research Machine Learning\ComputerDebugging\\bugfree")
    extension = 'csv'
    all_files2 = [i for i in glob.glob('*.{}'.format(extension))]

    df2 = pd.DataFrame(columns=["%CPU","PID",'TimeStamp',])
    fields=["%CPU","PID",'TimeStamp']
    files2 = []

    for f in all_files2:
        bugfree = pd.read_csv(f, header=0,usecols=fields,nrows=125)
        bugfree.sort_values(by=['TimeStamp','PID'], inplace=True)
        for i in  range(bugfree.shape[0]):
            files2.append(f)

        df2 = df2.append(bugfree)

    df2['target']=0
    df2['file'] = files2

    df2 = df2.drop(["PID","TimeStamp"], axis=1)
    df2 = df2.set_index(['file','target']).stack()

第二个数据框：

file              target           
finalprod1.csv    1      %CPU  20.0
                         %CPU   0.0
                         %CPU   0.0
                         %CPU   0.0
                         %CPU   0.0
                         %CPU   0.0
                            ...
finalprodBF99.csv 0      %CPU  25.0
                         %CPU  33.3
                         %CPU   0.0
                         %CPU  33.3
                         %CPU  33.3
                         %CPU  66.7
                            ...

我尝试用第一个数据框构建模型：

    X = df3['%CPU']

    Y = df3['target']

    X_train , X_test , Y_train , Y_test = train_test_split(X, Y, 
                                                        #Split the Training and Test sets by 50% split                        
                                                        train_size=0.8,
                                                        test_size=0.2,
                                                        random_state=123)

    from sklearn.svm import SVC
    svc = SVC()
    svc.fit(X_train, Y_train)
    acc_svc = round(svc.score(X_train, Y_train) * 100, 2)
    print("SVM",'\n')
    print(acc_svc)

当我尝试使用第一个数据帧时，我收到此错误消息。

ValueError: setting an array element with a sequence.

我知道此错误与以下事实有关：我已经将一个数字序列输入到单个数字槽中，而sklearn不喜欢这样。我似乎无法弄清楚如何解决它，或将数据框重组为可接受的结构。

我无法弄清楚如何将第二个数据框适合任何分类模型。

有没有办法将这两个数据帧中的任何一个适当地适合SVM模型？

Answer 1

当前，X_train，X_test是列表数组。将X = df3['%CPU']替换为X = [x for x in df3['%CPU']]会导致X_train和X_test是列表列表，这是sklearn模型支持的数据格式。

在带有包含多个值的要素的日期框架上，使用sklearn构建SVM模型的最佳方法是什么？

1 个答案: