Question

我正在使用python生成10倍交叉验证的训练和测试数据，并将数据集写入2x10分隔文件（每个折叠写一个训练文件和一个测试文件）。奇怪的是，当将数据写入文件时，总会有一条“丢失”的行。实际上，它甚至可能不会“丢失”，因为我后来发现文件中间的某些行（只有一行）将自己连接到它的前一行。因此输出文件应该类似于以下内容（总共应该有39150行）：

44 1 90 0 44 0 45 46 0 1
55 -3 95 0 44 22 40 51 12 4
50 -3 81 0 50 0 31 32 0 1
44 -4 76 0 42 -30 32 34 2 1

然而，我一直得到39149行，并且在文件中间的某处似乎弄得像这样：

44 1 90 0 44 0 45 46 0 1
55 -3 95 0 44 22 40 51 12 450 -3 81 0 50 0 31 32 0 1
44 -4 76 0 42 -30 32 34 2 1

我的代码：

def k_fold(myfile, myseed=1, k=10):
    # Load data
    data = open(myfile).readlines()

    # Shuffle input
    random.seed = myseed
    random.shuffle(data)

    # Compute partition size given input k
    len_total = len(data)
    len_part = int(math.floor(len_total / float(k)))

    # Create one partition per fold
    train = {}
    test = {}
    for i in range(k):
        test[i] = data[i * len_part:(i + 1) * len_part]
        train[i] = data[0:i * len_part] + data[(i + 1) * len_part:len_total]

    return train, test

if __name__ == "__main__":
    path = '....'  #some path and input
    input = '...'

    # Generate data
    [train, test] = k_fold(input)

    # Write data to files
    for i in range(10):
        train_old = path + 'tmp_train_' + str(i)
        test_old = path + 'tmp_test_' + str(i)

        trainF = open(train_old, 'a')
        testF = open(test_old, 'a')

        print(len(train[i]))

奇怪的是，我正在为训练和测试数据集做同样的事情。测试数据集输出正确的文件（4350行），但训练数据集存在上述问题。我确信该函数返回39150行训练数据，所以我认为问题应该在文件写入部分。任何机构都有任何想法我怎么可能做错了？提前谢谢！

Answer 1

我假设双倍长度行的前半部分是原始文件的最后一行。

readlines返回的行（或通过迭代文件）仍将以 LF 字符'\n' 结束，除了最后一行如果文件没有以空行结束，则为line。在这种情况下，你所做的改组会将'\n' - 更少的行放在'data'的中间位置。

在处理之前将空行添加到原始文件或strip所有行，并在写回文件时将换行符添加到每行。

python行在写入文件时连接自身

1 个答案: