标签: memory join merge pandas
在我的代码中,我在很多地方使用merge / join。最近我碰到了一个可能只是制作笛卡尔积的连接(可能只有5000个文件需要处理)。由于代码在64位系统/ python上运行,因此此连接将继续运行以填充所有内存,从而阻止此硬件节点上的每个进程/用户。由于没有发生实际错误,因此也很难进行调试。
有没有一种简单的方法来测试连接/合并的有效性,我可以在断言语句中使用它?
谢谢,
吕克