同时遍历目录中的所有文件

时间:2016-12-29 13:47:37

标签: matlab csv for-loop supercomputers

我在循环中有一个循环 外部循环只遍历目录中的每个文件并运行内部循环

我可以选择多个文件并同时在这些文件上运行内循环

我使用的是32核100gb ram服务器。而我目前只使用1%的CPU通过1比1

我想通过同时运行多个文件来加快速度,从而能够充分利用我的超级计算机并减少时间

1 个答案:

答案 0 :(得分:1)

有几个选项可以并行化matlab脚本。

  1. 如果您拥有并行计算工具箱的许可证,则可以使用parfor循环替换外部循环。见this
  2. 如果您没有该许可证,则可以使用多核第三方软件包。您需要修改代码以编写主服务器和从服务器的代码。见this
  3. 如果您不想过多地重新考虑代码,可以删除外部循环并接受文件名作为参数。然后使用GNU parallel来启动与机器中的处理器一样多的脚本实例,并保持这样做直到处理完所有文件。看到这个。