如何在不关闭它们的情况下切换fstream文件(同时输出文件) - C ++

时间:2013-07-26 18:32:36

标签: c++

我有一点C ++问题,我无法通过在线浏览解决。这是我的代码(摘录):

if(File.is_open()) {
    while(!File.eof())  {
        i++;
        getline(File,Line);
        if(i>=2) {                //Skip Headers
            int CharCount=0;
            for(int CharPosition=0; CharPosition<Line.size(); CharPosition++)                       {
                if(Line[CharPosition]==',') {
                    Length=CharPosition;
                    break;
                }
            }
            NameText=Line.substr(0,Length);
            Path= Path_Folder + "\\" + NameText + ".csv";
            if(!CheckExistance(Path.c_str())) {
                fstream Text_File;
            }
            Text_File.open(Path, fstream::in | fstream::out | fstream::app);
            Text_File<<Line<<"\n";
            Text_File.close();
        }
    }
}

这段代码工作正常,但我想改变它每次进入while循环时关闭Text_File的事实。

基本上,这个程序在很多较小的文件中分割出一个大的输入文件。作为我的 较小的文件越来越大,执行越来越慢 (正常)。我的目标是让所有较小的文件(Text_File)打开 这个while循环只是将fstream指针(指针?)从一个切换到 另一个。

我试图更改为:

...

NameText=Line.substr(0,Length);
Path= Path_Folder + "\\" + NameText + ".csv";

if(!CheckExistance(Path.c_str())) {
    fstream Text_File;
}

if(!Text_File.open()) {
    Text_File.open(Path, fstream::in |fstream::out | fstream::app);
}

Text_File<<Line<<"\n";
\\Text_File.close();

...

但无论Text_File是什么,它都在同一个NameText上工作。所以我猜测fstream Text_File的指针不会改变。那我需要做什么?把指针放在一边?怎么样?

谢谢大家!

不确定它是否相关,但我正在使用Microsoft Visual C ++ 2010 Express。 另外,我既不是教育也不是生活的程序员,所以如果你能用不太先进的词语解释它,我会很感激。

6 个答案:

答案 0 :(得分:4)

看起来您想在filebuf对象上处理ostream

现在,唯一的障碍是ostreambasic_filebuf<char>不是可复制类型,因此您无法直接将它们放入地图(通过文件名)。通过创建一个小Holder类型:

可以轻松解决这个问题
struct Holder {
    Holder(std::string const& path) 
        : buf(std::make_shared<std::filebuf>())
    { 
        buf->open(path.c_str(), std::ios::out | std::ios::app);
    }
    std::shared_ptr<std::filebuf> buf;
};

std::map<std::string, Holder> buffers;

现在完整的程序(已测试)将如下所示:

#include <fstream>
#include <sstream>
#include <iostream>
#include <map>
#include <memory>

const std::string Path_Folder = ".";

int main()
{
    std::istream& File     = std::cin; // just for example
    std::filebuf  dummy;
    std::ostream  TextFile(&dummy);

    struct Holder {
        Holder(std::string const& path) 
            : buf(std::make_shared<std::filebuf>())
        { 
            buf->open(path.c_str(), std::ios::out | std::ios::app);
        }
        std::shared_ptr<std::filebuf> buf;
    };

    std::map<std::string, Holder> buffers;
    int i = 0;

    std::string   Line;
    while(getline(File, Line))
    {
        if (i++<2)
            continue; //Skip Headers

        auto NameText = Line.substr(0, Line.find(','));
        auto Path = Path_Folder + '/' + NameText + ".csv";

        // open, only if not allready opened
        auto found = buffers.find(NameText);
        if (end(buffers) == found)
            found = buffers.insert({ NameText, Path }).first;

        TextFile.rdbuf(found->second.buf.get());

        TextFile << Line << std::endl; // notice implicit std::flush in std::endl
    }

    // all files are automatically closed here
}

还有三个注释:

    buffers地图超出范围时,
  • 文件会自动关闭。
  • 如果您不使用隐式rdbuf()(例如std::flush)结束行,则可能需要在切换std::endl时添加显式刷新。
  • dummy只存在一个ostream对象,我们可以切换缓冲区

我用以下输入测试了这个:

Header Row #1
Header Row #2
Jack,1,some data
Jill,2,some more data
Jack,3,not reopening :)
Jill,4,jill still receiving output
Romeo,5,someone else reporting

现在,我得到了以下输出:see it live at Coliru

  

/tmp$ rm *.csv
   /tmp$ make && ./test < input.txt && tail *.csv

g++ -std=c++11 -Wall -g test.cpp -o test
==> Jack.csv <==
Jack,1,some data
Jack,3,not reopening :)

==> Jill.csv <==
Jill,2,some more data
Jill,4,jill still receiving output

==> Romeo.csv <==
Romeo,5,someone else reporting

答案 1 :(得分:2)

注意:您的Text_File似乎超出了范围。我猜你在代码中的其他地方声明了它。所以,这条线是没用的:

if(!CheckExistance(Path.c_str())){fstream Text_File;}

要访问多个文件流,您可以使用这个使用std::map数据结构的简单类:

#include <iostream>
#include <map>
#include <string>
#include <fstream>

class StreamWriter
{
    typedef std::map<std::string, std::fstream> StreamMap;
    static StreamMap Files;

public:
    static std::fstream& GetFile(const std::string& filename)
    {
        std::fstream& stream = Files[filename];
        if (!stream.is_open())
        {
            stream.open(filename, std::fstream::in
                   | std::fstream::out | std::fstream::app);
        }
        return stream;
    }
};

StreamWriter::StreamMap StreamWriter::Files = StreamWriter::StreamMap();

然后,访问文件就像:

StreamWriter::GetFile("C:/sample1.txt") << "test";

就是这样。

答案 2 :(得分:1)

我要做的是使用std::mapstd::unordered_map将名称映射到fstream对象。

map<string, fstream> files;

...

while(getline(File,Line)) // don't use while(File.eof())
{
    ...

    if( files.count(NameText) == 0 ) // checks for the existence of the fstream object
    {            
        files[NameText].open(Path, fstream::in | fstream::out);
    }

    files[NameText] << Line << "\n";
}

请参阅here了解为什么我改变了while循环的条件。


您的操作系统可能无法同时拥有多个打开的文件。也许你可以尝试这样的事情。

在地图旁边,保留已打开文件名称的列表。每次需要写入文件时,首先在列表中搜索它,将其删除并将其添加到列表的前面。如果不存在,只需将其添加到列表的前面即可。检查以确保文件已打开。如果不是,那么试着打开它。如果打开它失败,则逐个删除列表后面的项目,关闭该项目的相应文件,并尝试再次打开当前文件。重复,直到打开文件成功。

执行此操作将确保最常写入文件的文件保留在列表的前面并保持打开状态。编写频率较低的文件会移到后面,最终会被关闭。在列表中搜索文件不是最佳的(O(n)),但由于我们在这里处理文件写入,这是一个更昂贵的操作,你不应该注意到任何类型的性能。< / p>

答案 3 :(得分:0)

您正在尝试重用 Text_File fstream。为此,在写完csv文件后,必须执行close()来刷新流。请看这个问题:C++ can I reuse fstream to open and write multiple files?

另外:这是我在Google上搜索此问题:http://goo.gl/Oy5KKM

答案 4 :(得分:0)

请注意,Text_File是一个变量,与所有变量一样,您可以拥有多个具有相同类型的变量。如果您需要管理多个不同的文件,您甚至可以在任何标准容器中使用std::fstream,例如std::vectorstd::map。此外,您应该考虑将代码分解为更小,更易于管理的部分。例如,您可以创建一个以std::fstream&作为参数的函数。这允许程序的其余部分控制在任何给定时间使用哪个std::fstream&。我强烈建议您查看不同的设计选项以帮助组织代码。

答案 5 :(得分:0)

存在检查语句没有效果 - 如前所述。也许你打算做这样的事情:

if(!CheckExistance(Path.c_str())) {
    fstream Text_File;

    Text_File.open(Path, fstream::in | fstream::out | fstream::app);
    Text_File<<Line<<"\n";
    Text_File.close();
}

if语句范围内的fstream将隐藏外部作用域中必须具有的那个。此外,close是可选的 - 当流超出范围时,流将被关闭。