Python将大列表分成较小的列表以检查性能？

Question

出于性能目的，拆分大型列表（超过1000个项目）的最佳方法是什么？并使用大型列表的“部分”？

例如;我有一个我要扫描的10k地址列表。如何将此列表拆分为第4个，并按部分完成列表以提高性能？

Answer 1

如果您正在阅读列表中的所有元素，则拆分实际上会降低您的效果。您应该对您的程序进行概要分析（如果您可以充分简化它，可以在此处将其发布在问题中）。

如果您没有阅读所有元素，为什么首先使用列表？使用set或dict。两者的操作都非常快。

Answer 2

请参阅this问题的答案，了解如何将任意列表拆分为较小的块。它并未明确涵盖性能提升，因此您可能需要考虑查看multiprocessing模块，以便同时实际操作这些小列表，如果这是您正在寻找的内容。

Answer 3

所以你想对整个列表进行操作，但顺序执行速度慢吗？我想你想要一个工人池。 this有帮助吗？