Question

我正在使用Python，并且我的数据集包含大约100万条记录和大约50列

其中某些列具有不同的类型（例如IssueCode列可以具有7000个不同的代码，另一列SolutionCode可以具有1000个代码）

我正在尝试建立一个预测模型。

因此，我必须使用get_dummies转换数据

但这已导致此错误内存错误

文件   “ C：\ Users \ am \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ pandas \ core \ reshape \ reshape.py”，   _get_dummies_1d中的第963行       dummy_mat = np.eye（number_of_cols，dtype = dtype）.take（codes，axis = 0）

MemoryError

我尝试了另一种解决方案，即保持列不进行一次热编码

现在尝试构建模型时出现此错误

ValueError：无法将字符串转换为浮点数：“ ABC”

我检查了此解决方案

get_dummies python memory error

我将所有列都转换为int8，但仍然是相同的错误

df = pd.concat([df.drop('IssueCode', 1), pd.get_dummies(df['IssueCode'],prefix = 'IssueCode_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('SolutionCode', 1), pd.get_dummies(df['SolutionCode'],prefix = 'SolutionCode_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('Col1', 1), pd.get_dummies(df['Col1'],prefix = 'Col1_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('Col2', 1), pd.get_dummies(df['Col2'],prefix = 'Col2_').astype(np.int8)], axis=1)
df = pd.concat([df.drop('Col3', 1), pd.get_dummies(df['Col3'],prefix = 'Col3_').astype(np.int8)], axis=1)

由于内存错误，我无法get_dummies，并且由于字符串浮点错误，我无法不使get_dummies错误

如何解决这个问题

这是我的代码

from sklearn.model_selection import cross_val_predict
import pymssql
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
import datetime
import random
from sklearn.ensemble import RandomForestRegressor


pd.set_option('display.max_rows', 5000)
pd.set_option('display.max_columns', 5000)
pd.set_option('display.width', 10000)


TaskTime = 900
RunTime = 120
sFolder = "/mnt/c/temp/"

def Lead0(value): 
        return "0" + str(value) if value < 10 else str(value)

dNow = datetime.datetime.now()
sNow = Lead0(dNow.year) + Lead0(dNow.month) + Lead0(dNow.day) + Lead0(dNow.hour) + Lead0(dNow.minute) + Lead0(dNow.second) 

print(sNow)

conn = pymssql.connect(server="MyServer", database="MyDB", port="1433", user="***", password="*****")
df = pd.read_sql("SELECT   *  FROM MyTable where MyDate between '1 jul 2018' and '30 jun 2019'", conn)
conn.close()


#df = pd.get_dummies(df)
#When I uncomment this I get Memory Error


mdl = RandomForestRegressor(n_estimators = 500) 

y_pred = cross_val_predict(mdl, X, y, cv=5)
#This is causing error String to float

Answer 1

您可能要做的第一件事是为数据框列指定适当的数据类型，以减少已加载数据框的内存使用量（参见https://www.dataquest.io/blog/pandas-big-data/）。

对于单热编码，一种直接解决内存问题的方法是使用稀疏数据类型而不是常规数据类型（有关更多详细信息，请参见doc）。这可以通过以下方式实现：

df = pd.get_dummies(df, columns=["IssueCode", "SolutionCode", "Col1", "Col2", "Col3"], 
                    sparse=True, axis=1)

我不确定pandas的稀疏表示是否可以与sklearn一起使用。如果不起作用，则可以尝试使用sklearn的{{3}}，默认情况下它也提供稀疏表示。

还有一些其他分类功能的编码技术，它们可以减少尺寸（以及内存使用量），但需要做更多的工作，例如将分类特征的值合并为更大的组。

如何解决由Get_dummies引起的内存错误

1 个答案: