优化熊猫合并和其他聚合技术?

时间:2019-01-18 21:54:06

标签: python pandas optimization time-complexity pandas-groupby

我有两个熊猫数据框,

客户名称数据框:名称

  ID       Name
 9967   Tasia Aldrich
 5154   Tinisha Balcom    
 9780   Lonna Braga
 5101   Violette Arneson
 7074   Oralee Schertz
 4324   Tempie Bristol
 7270   Margarita Evens
 2087   Jon Woodham
 1301   Linwood Wollman
 5897   Salvatore Oatis

以此类推

客户产品购买数据框:购买

 ID     Product
1094    Audio Equipment
5337    Cameras and Camera Equipment
3035    Car Electronics and GPS
7865    Computer Accessories
2126    Desktop Computers and Monitors
8823    Laptops and Notebooks
4987    Lighting Equipment
7920    Smartphones and Mobile Devices
5801    Tablets and E-Readers
8242    Televisions and Television Services

以此类推

现在两个数据框都包含大约1200万条记录,我想根据它们的ID合并它们。我尝试使用传统的熊猫操作:

mergeDF=name.merge(purchase,'left','ID')

完全合并花费了140分钟。我还有其他方法可以优化此方法吗?

第二部分:

我还试图在新合并的数据框中创建一个称为“键”的列,其定义为:

mergedDF['key']=mergedDF.apply(lambda x: x.ID+'&'+x.Product,axis=1)

这又需要花费大量时间。有什么建议吗? 我是python的新手,所以任何建议都将对您有所帮助。

0 个答案:

没有答案
相关问题