Question

我正在寻找如何编写用于扫描目录的多线程C ++代码并获取下面所有文件的列表。我编写了一个单线程代码，可以在代码之下和代码之下执行。

#include <sys/types.h>
#include <dirent.h>
#include <errno.h>
#include <vector>
#include <string>
#include <iostream>
#include <sys/stat.h> /* for stat() */


using namespace std;
int isDir(string path)
;

/*function... might want it in some class?*/
int getdir (string dir, vector<string> &dirlist, vector<string> &fileList)
{
    DIR *dp;
    struct dirent *dirp, *dirFp ;
    if((dp  = opendir(dir.c_str())) == NULL) {
        cout << "Error(" << errno << ") opening " << dir << endl;
        return errno;
    }

    while ((dirp = readdir(dp)) != NULL) {
        if (strcmp (dirp->d_name, ".") != 0 && strcmp(dirp->d_name, "..") != 0) {
            //dirlist.push_back(string(dirp->d_name));

            string Tmp = dir.c_str()+ string("/") + string(dirp->d_name);
            if(isDir(Tmp)) {
            //if(isDir(string(dir.c_str() + dirp->d_name))) {
                dirlist.push_back(Tmp);
                getdir(Tmp,dirlist,fileList);
            } else {
  //              cout << "Files :"<<dirp->d_name << endl;
                fileList.push_back(string(Tmp));
            }

        }
    }
    closedir(dp);
    return 0;
}

int isDir(string path)
{
    struct stat stat_buf;
    stat( path.c_str(), &stat_buf);
    int is_dir = S_ISDIR( stat_buf.st_mode);
//    cout <<"isDir :Path "<<path.c_str()<<endl;
    return ( is_dir ? 1: 0);
}

int main()
{
    string dir = string("/test1/mfs");
    vector<string> dirlist = vector<string>();
    vector<string> fileList = vector<string>();

    getdir(dir,dirlist,fileList);
#if 0
    for (unsigned int i = 0;i < dirlist.size();i++) {
        cout << "Dir LIst" <<dirlist[i] << endl;
        //string dirF = dir + "/" + dirlist[i];
        //getdir(dirF,fileList);
    }
#endif
    for (unsigned int i = 0; i < fileList.size(); i++)
        cout << "Files :"<<fileList[i]<< endl;
    return 0;
}

现在的问题是它是单线程的，我需要扫描大约8000个目录，在哪个文件可以存在。所以我没有得到如何这样做，因为目录的数量可以变化，因为它由N维矩阵决定。

这方面的任何帮助都会很棒。提前谢谢。

Answer 1

boost :: filesystem有directory_iterator和recursive_directory_iterator，前者将获取目录的所有内容但不会递归子目录，后者也将递归子目录。

关于线程安全，您可以锁定互斥锁，然后将结果复制到std :: vector或两个矢量实例，一个用于文件，一个用于目录，在这种情况下，您至少会有一个本地快照副本

要实际“冻结”文件系统，以便停止修改它的任何进程，这不是你通常可以做的事情 - 你可以尝试将其上的文件属性设置为只读，然后再将其更改回来但是你首先需要获得许可。

C ++多线程目录扫描代码

1 个答案: