解析一个浮点数的C字符串

时间:2015-01-16 19:06:59

标签: c++ string parsing

我有一个C字符串,其中包含用逗号和空格分隔的浮点数列表。每对数字由一个(或多个)空格分隔,表示x和y字段用逗号分隔的点(以及可选的空格)。

" 10,9 2.5, 3   4 ,150.32 "

我需要解析此字符串以填充Point(x, y)列表 以下是我目前的实施情况:

const char* strPoints = getString();
std::istringstream sstream(strPoints);

float x, y;
char comma;

while (sstream >> x >> comma >> y)
{
   myList.push(Point(x, y));
}

由于我需要解析很多(最多500,000)这些字符串,我想知道是否有更快解决方案。

3 个答案:

答案 0 :(得分:5)

看看提升精神:

它支持NaN,正负无限就好了。它还允许您简洁地表达约束语法。

  1. 简单修改代码

    以下是您的语法的改编样本:

    struct Point { float x,y; };
    typedef std::vector<Point> data_t;
    
    // And later:
    bool ok = phrase_parse(f,l,*(double_ > ',' > double_), space, data);
    

    迭代器可以是任何迭代器。所以你可以用C字符串将它连接起来就好了。

    这是对链接基准案例的直接调整。这将向您展示如何直接从内存映射文件中解析任何std::istream

    Live On Coliru


  2. 进一步优化(严格地针对C字符串)

    这是一个不需要事先了解字符串长度的版本(这很简洁,因为如果没有可用的长度,它会避免strlen调用):

    template <typename OI>
    static inline void parse_points(OI out, char const* it, char const* last = std::numeric_limits<char const*>::max()) {
        namespace qi  = boost::spirit::qi;
        namespace phx = boost::phoenix;
    
        bool ok = qi::phrase_parse(it, last,
                *(qi::double_ >> ',' >> qi::double_) [ *phx::ref(out) = phx::construct<Point>(qi::_1, qi::_2) ],
                qi::space);
    
        if (!ok || !(it == last || *it == '\0')) {
            throw it; // TODO proper error reporting?
        }
    }
    

    请注意我如何使用 输出迭代器 ,以便您决定如何累积结果。对向量/ /解析向量的明显包装是:

    static inline data_t parse_points(char const* szInput) {
        data_t pts;
        parse_points(back_inserter(pts), szInput);
        return pts;
    }
    

    但是你也可以做不同的事情(比如附加到现有的容器,可能预先保留已知的容量等)。这样的事情通常允许真正优化的集成。

    这段代码在~30行基本代码中完全演示:

    Live On Coliru

  3. 额外令人敬畏的奖金

    展示此解析器的灵活性;如果你只是想检查输入并得到点的计数,你可以用一个简单的lambda函数替换输出迭代器,该函数递增计数器而不是添加新构造的点。

    int main() {
        int count = 0;
        parse_points( " 10,9 2.5, 3   4 ,150.32    ", boost::make_function_output_iterator([&](Point const&){count++;}));
        std::cout << "elements in sample: " << count << "\n";
    }
    

    <强> Live On Coliru

    由于编译器 will notice 的所有内容都不需要在此处构建整个Point并删除该代码: http://paste.ubuntu.com/9781055/

      

    主要功能是直接调用非常解析器原语。手动编码解析器不会让你在这里进行更好的调整,至少不需要付出很多努力。

答案 1 :(得分:3)

我使用std :: find和std :: strtof的组合解析出点得到了更好的性能,代码并没有那么复杂。这是我跑的测试:

#include <iostream>                                                                             
#include <sstream>                                                                              
#include <random>                                                                               
#include <chrono>                                                                               
#include <cctype>                                                                               
#include <algorithm>                                                                            
#include <cstdlib>                                                                              
#include <forward_list>                                                                         

struct Point { float x; float y; };                                                             
using PointList = std::forward_list<Point>;                                                     
using Clock = std::chrono::steady_clock;                                                        
using std::chrono::milliseconds;                                                                

std::string generate_points(int n) {                                                            
  static auto random_generator = std::mt19937{std::random_device{}()};                          
  std::ostringstream oss;                                                                       
  std::uniform_real_distribution<float> distribution(-1, 1);                                    
  for (int i=0; i<n; ++i) {                                                                     
    oss << distribution(random_generator) << " ," << distribution(random_generator) << "\t \n"; 
  }                                                                                             
  return oss.str();                                                                             
}                                                                                               

PointList parse_points1(const char* s) {                                                        
  std::istringstream iss(s);                                                                    
  PointList points;                                                                             
  float x, y;                                                                                   
  char comma;                                                                                   
  while (iss >> x >> comma >> y)                                                                
       points.push_front(Point{x, y});                                                          
  return points;                                                                                
}                                                                                               

inline                                                                                          
std::tuple<Point, const char*> parse_point2(const char* x_first, const char* last) {            
  auto is_whitespace = [](char c) { return std::isspace(c); };                                  
  auto x_last  = std::find(x_first, last, ',');                                                 
  auto y_first = std::find_if_not(std::next(x_last), last, is_whitespace);                      
  auto y_last  = std::find_if(y_first, last, is_whitespace);                                    
  auto x = std::strtof(x_first, (char**)&x_last);                                               
  auto y = std::strtof(y_first, (char**)&y_last);                                               
  auto next_x_first = std::find_if_not(y_last, last, is_whitespace);                            
  return std::make_tuple(Point{x, y}, next_x_first);                                            
}                                                                                               

PointList parse_points2(const char* i, const char* last) {                                      
  PointList points;                                                                             
  Point point;                                                                                  
  while (i != last) {                                                                           
    std::tie(point, i) = parse_point2(i, last);                                                 
    points.push_front(point);                                                                   
  }                                                                                             
  return points;                                                                                
}                                                                                               

int main() {                                                                                    
  auto s = generate_points(500000);                                                             
  auto time0 = Clock::now();                                                                    
  auto points1 = parse_points1(s.c_str());                                                      
  auto time1 = Clock::now();                                                                    
  auto points2 = parse_points2(s.data(), s.data() + s.size());                                  
  auto time2 = Clock::now();                                                                    
  std::cout << "using stringstream: "                                                           
            << std::chrono::duration_cast<milliseconds>(time1 - time0).count() << '\n';         
  std::cout << "using strtof: "                                                                 
            << std::chrono::duration_cast<milliseconds>(time2 - time1).count() << '\n';         
  return 0;                                                                                     
}                                  

输出:

using stringstream: 1262
using strtof: 120

答案 2 :(得分:0)

您可以先尝试禁用与C I / O的同步:

std::ios::sync_with_stdio(false);

来源:Using scanf() in C++ programs is faster than using cin?

您也可以尝试使用alternatives to iostream

我认为你应该试试sync_with_stdio(false)。其他选择需要更多编码,而且我不确定你会赢得多少(如果有的话)。