Boost Tokenizer:额外的空间?

时间:2015-12-13 04:34:33

标签: c++ boost boost-tokenizer

我使用Boost Tokenizer删除格式化坐标,例如(x,y)。但是,在删除后,它会添加一个额外的空间。没有空格,但我无法弄清楚如何摆脱这个。

while (std::getline(input, line)) {
    boost::char_separator<char> sep("(),");
    typedef boost::tokenizer<boost::char_separator<char> > tokenizer;
    tokenizer tok(line, sep);
    for (auto &i : tok) {
        _edges.push_back(i);
    }
}

在向量中,结果如下:

  

[X] [Y] [空格]

2 个答案:

答案 0 :(得分:2)

“我无法弄清楚如何摆脱这种情况。”

从文件中提取一行文本后,在开始解析标记之前,可以使用boost::trim()从提取的行中删除任何前导和尾随空格:

std::getline(iss, line);
boost::trim(line);  // <== added

答案 1 :(得分:1)

如果该行的结尾表示为\r\n(例如在Windows计算机上),您将拥有您提到的行为。 getline使用\n作为默认分隔符。

#include <iostream>
#include <vector>
#include <sstream>
#include <boost/tokenizer.hpp>

int main() {

  std::string line;;
  std::istringstream iss("(1,2)\r\n");

  std::getline(iss, line);
  std::cout << "length: " << line.length() << std::endl; // 6, includes '\r'

  boost::char_separator<char> sep("(),");
  typedef boost::tokenizer<boost::char_separator<char> > tokenizer;
  tokenizer tok(line, sep);
  for (auto &i : tok) {
    std::cout << "ith tok: " << i << std::endl;
  }

  return 0;
}

打印:

length: 6
ith tok: 1
ith tok: 2
ith tok: 

要解决此问题,您可以更改分隔符或编写一个从流中解析坐标的方法,如下所示:

#include <iostream>
#include <algorithm>
#include <vector>
#include <sstream>
#include <iterator>

template <typename CharT, typename CharTraits, typename T>
std::basic_istream<CharT, CharTraits>& operator >>(std::basic_istream<CharT, CharTraits>& is, std::vector<T>& v)
{
  typedef typename std::vector<T> vector_type;
  typedef typename vector_type::size_type size_type;

  CharT ch;
  const size_type size = 2;

  vector_type s{0,0};
  if(is >> ch && ch != '(')
  {
    is.putback(ch);
    is.setstate(std::ios_base::failbit);
  }
  else if(!is.fail())
  {
    for(size_type i = 0; i != size; ++i)
    {
      if(is >> std::ws >> s[i] >> ch && ch != ',')
      {
        is.putback(ch);
        if(i < size - 1)
          is.setstate(std::ios_base::failbit);
        break;
      }
    }

    if(is >> ch && ch != ')')
    {
      is.putback(ch);
      is.setstate(std::ios_base::failbit);
    }
  }

  if(!is.fail())
    v.swap(s);

  return is;
}

int main() {

  std::vector<int> v;
  std::istringstream is("(1, 2)\r\n");
  is >> v;

  std::copy(std::begin(v), std::end(v), std::ostream_iterator<int>(std::cout, " "));
  std::cout << std::endl;

  return 0;
}

打印

1 2

运行online