Question

我对决策树还比较陌生，并且对决策树算法感到困惑。我使用交叉验证和参数调整来优化此示例中的分类：https://medium.com/@haydar_ai/learning-data-science-day-22-cross-validation-and-parameter-tuning-b14bcbc6b012。但是不管我如何调整参数，我总会得到如下所示的结果（这里只是一棵小树的示例）：

Small Decision Tree Example

我不了解这种行为的原因。为什么树会生成具有相同类（此处为class2）的叶子？为什么在a <= 0.375 = TRUE并切下具有相同类的叶子后，它不只是停止（请参见图片红色矩形）？有没有办法防止这种情况并使算法在这一点上停止？还是对此行为有合理的解释？任何帮助或想法将不胜感激！谢谢！

编辑：这是我的代码：

     def load_csv(filename):
           dataset = list()
           with open(filename, 'r') as file:
               csv_reader = reader(file)
               for row in csv_reader:
                   if not row:
                       continue
                   dataset.append(row)
           return dataset

    # Convert string column to float
    def str_column_to_float(dataset, column):
        for row in dataset:
            row[column] = float(row[column].strip())


    # Load dataset
    filename = 'C:/Test.csv'
    dataset = load_csv(filename)


    # convert string columns to float
    for i in range(len(dataset[0])):
        str_column_to_float(dataset, i)

    # Transform to x and y
    x = []
    xpart = []
    y = []
    for row in dataset:
        for i in range(len(row)):
            if i != (len(row) - 1):
                xpart.append(row[i])
            else:
                y.append(row[i])
        x.append(xpart)
        xpart = []

    features_names = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']
    labels = ['class1', 'class2']

    #here I tried to tune the parameters 
    #(I changed them several times, this is just an example to show, how the code looks like). 
    # However, I always ended up with terminal leaves with same classes
    """dtree=DecisionTreeClassifier(class_weight=None, criterion='entropy', max_depth=5,
        max_features=8, max_leaf_nodes=None, min_impurity_decrease = 0.0, min_impurity_split = None, min_samples_leaf=1,
        min_samples_split=2, min_weight_fraction_leaf=0.0,
        presort=False, random_state=None, splitter='random')"""

    #here, I created the small example
    dtree = DecisionTreeClassifier(max_depth=2)
    dtree.fit(x,y)

    dot_data = tree.export_graphviz(dtree, out_file=None) 
    graph = graphviz.Source(dot_data) 
    graph.render("Result") 

    dot_data = tree.export_graphviz(dtree, out_file=None, 
                     feature_names= features_names,  
                     class_names=labels,  
                     filled=True, rounded=True,  
                     special_characters=True)  
    graph = graphviz.Source(dot_data)  
    graph.format = 'png'
    graph.render('Result', view = True)

...以及我的数据快照：

enter image description here

Answer 1

您所指的class属性是该特定节点上的多数类，颜色来自传递给export_graphviz()的filled = True参数

现在，查看您的数据集，您有147个class1样本和525个class2样本，这是一个相当不平衡的比率。碰巧的是，在此深度处针对特定数据集的最佳分割会生成多数类为class2的分割。这是正常的行为，也是您数据的产物，考虑到class2的数量比class1大3：1，这并不奇怪。

为什么当拆分的两个子对象的多数类相同时树不会停止，这是因为算法的工作方式。如果不受限制，没有最大深度，它将继续直到生成仅包含单个类（且Gini impurity为0的情况）的纯叶节点为止。您已在示例中设置了max_depth = 2，因此树仅在生成所有纯节点之前就停止了。

您会注意到，在示例中用红色框表示的拆分中，右侧的节点几乎是100％的class2，其中class2的实例为54，而class1的实例仅为2。如果该算法在此之前停止，则将产生上面的节点为291-45 class2-class1，这远没有用处。

也许您可以增加树的最大深度，看看是否可以进一步分离出这些类。

决策树生成终端叶具有相同的类

1 个答案: