用于目录遍历的任务并行库

Question

我想遍历硬盘上的目录，并在所有文件中搜索特定的搜索字符串。这听起来像是可以（或应该）并行完成的完美候选者，因为IO很慢。

传统上，我会编写一个递归函数来查找和处理当前目录中的所有文件，然后递归到该目录中的所有目录。我想知道如何将其修改为更平行。起初我只是修改了：

foreach (string directory in directories) { ... }

到

Parallel.ForEach(directories, (directory) => { ... }) 

但我觉得这可能会创建太多任务并使自己陷入困境，尤其是在尝试重新分配到UI线程时。我也觉得任务的数量是不可预测的，这可能不是一个有效的平行（这是一个单词？）这个任务的方法。

之前有没有人成功完成过这样的事情？你有什么建议吗？

Answer 1

不，这听起来不像并行正好，因为IO很慢。你将成为磁盘绑定。假设你只有一个磁盘，你真的不想让它同时寻找多个不同的地方。

这有点像尝试将多个软管连接到同一个水龙头以便更快地排出水 - 或尝试在单个核心上运行16个CPU绑定线程：）