Question

我有一个数据集，其样本结构如下所示：

SV,Arizona,618,264,63,923
SV,Arizona,367,268,94,138
SV,Arizona,421,268,121,178
SV,Arizona,467,268,171,250
SV,Arizona,298,270,62,924
SV,Arizona,251,272,93,138
SV,Arizona,215,276,120,178
SV,Arizona,222,279,169,250
SV,Arizona,246,279,64,94
SV,Arizona,181,281,97,141
SV,Arizona,197,286,125.01,182
SV,Arizona,178,288,175.94,256
SV,California,492,208,63,923
SV,California,333,210,94,138
SV,California,361,213,121,178
SV,California,435,217,171,250
SV,California,222,215,62,92
SV,California,177,218,93,138
SV,California,177,222,120,178
SV,California,156,228,169,250
SV,California,239,225,64,94
SV,California,139,229,97,141
SV,California,198,234,125,182

记录的顺序为company_id,state,profit,feature1,feature2,feature3。

现在我编写了这段代码，将整个数据集分成12个记录块（对于每个公司以及该公司中的每个州有12条记录），然后将其传递给process_chunk()函数。在process_chunk()内，块中的记录将被处理并分为test set和training set，记录号为10，11进入test set进入training set。我还将company_id中的state和test set条记录存储到全局列表中，以便将来显示预测值。我还将预测值附加到全局列表final_prediction

现在我遇到的问题是，company_list，state_list和test_set列表具有相同的大小（约200条记录），但final_prediction的大小为其他列表有哪些（100）记录。如果test_set列表的大小为200，那么final_prediction的大小也不应该是200吗？我目前的代码是：

from sklearn import linear_model
import numpy as np
import csv

final_prediction = []
company_list = []
state_list = []

def process_chunk(chuk):

    training_set_feature_list = []
    training_set_label_list = []
    test_set_feature_list = []
    test_set_label_list = []
    np.set_printoptions(suppress=True)

    prediction_list = []


    # to divide into training & test, I am putting line 10th and 11th in test set
    count = 0
    for line in chuk:
        # Converting strings to numpy arrays
        if count == 9:   
            test_set_feature_list.append(np.array(line[3:4],dtype = np.float))
            test_set_label_list.append(np.array(line[2],dtype = np.float))
            company_list.append(line[0])
            state_list.append(line[1])

        elif count == 10:
            test_set_feature_list.append(np.array(line[3:4],dtype = np.float))
            test_set_label_list.append(np.array(line[2],dtype = np.float))
            company_list.append(line[0])
            state_list.append(line[1])

        else:    
            training_set_feature_list.append(np.array(line[3:4],dtype = np.float))
            training_set_label_list.append(np.array(line[2],dtype = np.float))
        count += 1
    # Create linear regression object
    regr = linear_model.LinearRegression()
    # Train the model using the training sets
    regr.fit(training_set_feature_list, training_set_label_list)



    prediction_list.append(regr.predict(test_set_feature_list))
    np.set_printoptions(formatter={'float_kind':'{:f}'.format})
    for items in prediction_list:
        final_prediction.append(items)




# Load and parse the data
file_read = open('data.csv', 'r')

reader = csv.reader(file_read)

chunk, chunksize = [], 12

for i, line in enumerate(reader):
    if (i % chunksize == 0 and i > 0):
        process_chunk(chunk)
        del chunk[:]
    chunk.append(line)

# process the remainder

#process_chunk(chunk)


print len(company_list)
print len(test_set_feature_list)
print len(final_prediction)

为什么这个大小的差异来了，我在我的代码中做了什么错误，我可以纠正（也许我正在做的事情很天真，可以用更好的方式完成）？

Answer 1

下面：

prediction_list.append(regr.predict(test_set_feature_list))
np.set_printoptions(formatter={'float_kind':'{:f}'.format})
for items in prediction_list:
    final_prediction.append(items)

prediction_list将是一个数组列表（因为predict返回一个数组）。

所以你要将数组附加到你的final_prediction，这可能会弄乱你的数量：len(final_prediction)可能等于数量。

此时，如果prediction_list的长度与test_set_feature_list相同，则长度可以正常。

您可能希望像这样使用extend：

final_prediction.extend(regr.predict(test_set_feature_list))

这也更容易阅读。

然后final_prediction的长度应该没问题，它应该是单个列表，而不是列表列表。

执行scikit-learn线性回归模型的问题

1 个答案: