使用shell vs python进行并行

Question

假设我有很多任务N要运行（〜数千），每项任务需要花费大量时间X（几分钟到几小时）。幸运的是，每个任务都可以独立运行。每个任务都是通过Python调用的shell命令。

编辑：每项任务几乎相同，所以我不需要抽象任务。

哪个更好？ （就所需内存而言，CPU使用率，后台任务限制......）

1. 在单线程python脚本中调用每个任务作为后台进程（使用文件/重定向进行跟踪）或
2. 多个python线程，每个线程都调用shell命令。

我这里需要python主要是与db交互，做一些逻辑，读取文件等。

这是一个值得考虑的权衡，还是两种方式都可以？

理想情况下，对于不同的N / X值，这两种方法有一些统计/图表会很好。

PS：Google和SO搜索没有给我任何线索。如果有这样的事情，我很抱歉。

谢谢！