如何在熊猫数据框列上并行应用函数?

时间:2018-12-28 03:46:37

标签: python pandas dataframe parallel-processing feature-engineering

我有一个1million X 1000维的熊猫数据框。 列是分类变量。我想对它们进行编码。

我已经从sklearn获得了编码模型并进行了拟合。现在要并行转换数据框的列。

transformed_X = encoding_model.transform(X)
上面X中的

是我要编码的数据帧,在这里它是以串行方式进行的。 有没有办法将转换函数并行应用于数据框X的每一列?

1 个答案:

答案 0 :(得分:0)

如果您尝试对分类变量进行1种热编码,则可以使用pd.get_dummies()函数

df = pd.get_dummies(df)