当多列包含相同的值时,如何对大型数据帧进行热编码?

时间:2017-10-09 21:52:52

标签: python pandas one-hot-encoding

标题基本上捕获了我的问题。

我有一个数据框,多个列都有[0,1]这样的值,如果我要对df进行热编码,我会有多个具有相同名称的列。

繁琐的解决方案是手动创建唯一的列,但我有58列是绝对的,所以看起来效率不高。

我不确定这是否有用,但这是我的数据框的head()

x2  x3  x4  x5  x6  x7  x8  x9  x10 x11 ... z217    z218    z219    z220    z221    z222    subject phase   state   output
0   0   0   1   -300.361218 0.886360    -2.590886   225.001899  0.006204    0.000037    -0.000013   ... 0.005242    0.024971    -1017.620978    -382.850838 -48.275711  -2.040336   A   3   B   0
1   0   0   1   -297.126090 0.622211    -3.960940   220.179017  0.006167    -0.000014   -0.000003   ... 0.001722    0.023595    91.229094   24.802230   1.783950    0.022620    A   3   C   0
2   0   0   1   -236.460253 0.423640    -12.656341  139.453445  0.006276    -0.000028   0.000022    ... -0.010894   -0.036318   -188.232347 -17.474861  -1.005571   -0.021628   A   3   B   0
3   0   0   1   33.411458   2.854415    -1.962432   3.208911    0.009752    -0.000273   -0.000024   ... -0.034184   -0.047734   185.122907  -549.282067 542.193381  -178.049926 A   3   A   0
4   0   0   1   -118.125214 2.009809    -3.291637   34.874176   0.007598    0.000001    -0.000022   ... 0.001963    0.004084    35.207794   -78.143166  57.084208   -13.700212  A   4   C   0

2 个答案:

答案 0 :(得分:1)

您可能已经在使用pandas.get_dummies了?如果不是,则此函数将分类列转换为多个指示符列(一个热编码)。

有一个'前缀'此函数的参数,专门针对您的情况而存在。这可以是字符串列表(长度必须等于数据帧中的列数)。但是,在您的情况下,您可以将其设为字典,其中您将列名称映射到前缀。所以,像:

pd.get_dummies(df, prefix={'x3': 'x3', 'x4': 'x4'})

这会有其他列,例如x3_0, x3_1 ... x4_0, x4_1 ...

答案 1 :(得分:0)

您可以阅读数据并首先获取分类变量的所有唯一值的列表。然后,您可以在唯一值列表中放置一个热门编码器对象(如sklearn.preprocessing.CategoricalEncoder)。

此方法还可以帮助列车测试框架或以块的形式读取数据。 我创建了一个python模块,它可以自己完成所有这些工作。您可以在此GitHub存储库中找到它 - dummyPy

简短的教程 - How to One Hot Encode Categorical Variables in Python?