Question

摘要： Sklearn的LabelEncoder将不同的值编码为相同的值。 encoder.fit(data)和data_encoded = encoder.transform(data)可以正确完成，但是当我在转换后立即执行encoder.inverse_transform(data_encoded)时，它会引发错误：

ValueError：y包含以前看不见的标签：[19297]

我想做什么：

我的数据有些大（将近1.5 GB），并且还会有更多数据。为了完成机器学习任务，我需要对数据进行标签编码，但是我不能在本地笔记本电脑上进行编码，因为编码器必须看到整个数据才能正确编码，但是数据处理起来有些大。

我所做的事情：

因此，我将全部数据加载到Google Colab中，对其进行了编码，然后使用pickle保存了编码器。然后在我的本地PC上，获取了新来的数据（要小得多），装回编码器，更新了encoder.classes_（请参见代码第1部分）

然后转换新来者数据。然后尝试立即对它进行逆变换，以确保正确完成。但是它提出了一个错误。（请参阅第2部分）

然后，我检查了值19297，以查看data.loc的索引。得到索引并检查原始数据，并意识到编码器将不同的值编码为相同的值（不同的值-> 19297）。任何人都可以帮助解决这个问题吗？坦克很多。

第1部分：

with open("data/encoders/item_id_encoder.pkl", 'rb') as file:
    item_encoder = pickle.load(file)
with open("data/encoders/store_id_encoder.pkl", 'rb') as file:
    store_encoder = pickle.load(file)
with open("data/encoders/week_encoder.pkl", 'rb') as file:
    week_encoder = pickle.load(file)

item_classes = set(item_encoder.classes_) 
store_classes = set(store_encoder.classes_)
week_classes = set(week_encoder.classes_)

bar.start()
for row in data.itertuples():
    if row.item_id not in item_classes:
        item_classes.add(row.item_id)
        item_encoder.classes_ = np.append(item_encoder.classes_, row.item_id)
    if row.store_id not in store_classes:
        store_classes.add(row.store_id)
        store_encoder.classes_ = np.append(store_encoder.classes_, row.store_id)
    if row.week not in week_classes:
        week_classes.add(row.week)
        week_encoder.classes_ = np.append(week_encoder.classes_, row.week)
    bar.update(row.Index)
bar.finish()

第2部分：

store_ids = store_encoder.transform(data.store_id)
item_ids = item_encoder.transform(data.item_id)
weeks = week_encoder.transform(data.week)

# this raises error
item_encoder.inverse_transform(item_ids)

Answer 1

好吧，我已经实现了具有更新功能的标签编码器。您可以：

安装数据编码器以启动编码器。编码器将另存为pickle文件。
使用新来者数据更新编码器
变换和逆变换数据

请参阅：https://github.com/emremrah/Lencoder

LabelEncoder将不同的值编码为相同的值

1 个答案: