无法使用Keras和Sklearn将字符串列转换为分类矩阵

时间:2017-11-30 12:16:16

标签: python-3.x pandas scikit-learn keras

我正在尝试使用MacOS上的Python3.6构建一个简单的Keras模型,以预测给定范围内的房价,但我无法将输出转换为类别矩阵。我正在使用Kaggle的this dataset

我在数据框架中创建了一个新列,其中不同的价格范围作为字符串在我的模型中作为目标输出,然后使用keras.utils和Sklearn LabelEncoder尝试创建输出二进制矩阵但我不断获得错误:

ValueError: invalid literal for int() with base 10: '0 - 50000'

这是我的代码:

import pandas as pd
import numpy as np
from keras.layers import Dense
from keras.models import Sequential, load_model
from keras.callbacks import EarlyStopping
from keras.utils import to_categorical, np_utils
import matplotlib.pyplot as plt
from sklearn.preprocessing import LabelEncoder

seed = 7
np.random.seed(seed)

data = pd.read_csv("Melbourne_housing_FULL.csv")
data.fillna(0, inplace=True)

price_range = 50000
bins = np.arange(0, 12000000, price_range)
labels = ['{} - {}'.format(i + 1, j) for i, j in zip(bins[:-1], bins[1:])] 

#correct first value 
labels[0] = '0 - 50000'

for item in labels:
    str(item)

print (labels[:10])
['0 - 50000', '50001 - 100000', '100001 - 150000', '150001 - 200000', 
 '200001 - 250000', '250001 - 300000', '300001 - 350000', '350001 - 400000', 
 '400001 - 450000', '450001 - 500000']

data['PriceRange'] = pd.cut(data.Price, 
                            bins=bins, 
                            labels=labels, 
                            right=True, 
                            include_lowest=True)

#print(data.PriceRange.value_counts())
output_len = len(labels)
print(output_len)

这一切都是正确的,直到我运行下一篇文章:

predictors = data.drop(['Suburb', 'Address', 'SellerG', 'CouncilArea', 
                        'Propertycount', 'Date', 'Type', 'Price', 'PriceRange'], axis=1).as_matrix()

target = data['PriceRange']


# encode class values as integers
encoder = LabelEncoder()
encoder.fit(target)
encoded_Y = encoder.transform(target)

target = np_utils.to_categorical(data.PriceRange)

n_cols = predictors.shape[1]

我得到了ValueError:基数为10的int()的无效文字:' 0 - 50000'

有人帮助我吗?不要真的明白我做错了什么。

非常感谢

2 个答案:

答案 0 :(得分:6)

因为np_utils.to_categorical使用数据类型为int,但你有字符串要么通过给它们一个键将它们转换为int,即:

cats = data.PriceRange.values.categories
di = dict(zip(cats,np.arange(len(cats))))
#{'0 - 50000': 0,
# '10000001 - 10050000': 200,
# '1000001 - 1050000': 20,
# '100001 - 150000': 2,
# '10050001 - 10100000': 201,
# '10100001 - 10150000': 202,

target = np_utils.to_categorical(data.PriceRange.map(di))

或者由于您使用的是pandas,因此您可以使用pd.get_dummies来获得一个热门编码。

onehot = pd.get_dummies(data.PriceRange)
target_labels = onehot.columns
target = onehot.as_matrix()

array([[ 1.,  0.,  0., ...,  0.,  0.,  0.],
       [ 0.,  0.,  0., ...,  0.,  0.,  0.],
       [ 0.,  0.,  0., ...,  0.,  0.,  0.],
       ..., 
       [ 0.,  0.,  0., ...,  0.,  0.,  0.],
       [ 1.,  0.,  0., ...,  0.,  0.,  0.],
       [ 0.,  0.,  0., ...,  0.,  0.,  0.]])

答案 1 :(得分:1)

只有一行代码...

np_utils.to_categorical(data.PriceRange.factorize()[0])