使用Boost.Spirit.Lex和Boost.Spirit.Qi解析“true”和“false”

时间:2011-01-10 05:26:34

标签: c++ parsing boost-spirit

作为使用Boost.Spirit的更大语法的第一阶段,我正在尝试解析“true”和“false”以生成相应的bool值truefalse

我正在使用Spirit.Lex来标记输入,并为整数和浮点文字(包括用放松的科学记数法表示的那些)提供工作实现,暴露intfloat属性。

令牌定义

#include <boost/spirit/include/lex_lexertl.hpp>

namespace lex = boost::spirit::lex;

typedef boost::mpl::vector<int, float, bool> token_value_type;

template <typename Lexer>
struct basic_literal_tokens : lex::lexer<Lexer> {
    basic_literal_tokens() { 
        this->self.add_pattern("INT", "[-+]?[0-9]+");
        int_literal = "{INT}";
        // To be lexed as a float a numeric literal must have a decimal point
        // or include an exponent, otherwise it will be considered an integer.
        float_literal = "{INT}(((\\.[0-9]+)([eE]{INT})?)|([eE]{INT}))";

        literal_true = "true";
        literal_false = "false";
        this->self = literal_true | literal_false | float_literal | int_literal;
    }

    lex::token_def<int> int_literal;
    lex::token_def<float> float_literal;
    lex::token_def<bool> literal_true, literal_false;
};

测试浮点文字的解析

我的实际实现使用Boost.Test,但这是一个独立的示例。

#include <string>
#include <iostream>
#include <cmath>
#include <cstdlib>
#include <limits>

bool parse_and_check_float(std::string const & input, float expected) {
    typedef std::string::const_iterator base_iterator_type;
    typedef lex::lexertl::token<base_iterator_type,
                token_value_type
            > token_type;
    typedef lex::lexertl::lexer<token_type> lexer_type;

    basic_literal_tokens<lexer_type> basic_literal_lexer;
    base_iterator_type input_iter(input.begin());

    float actual;

    bool result = lex::tokenize_and_parse(input_iter, input.end(),
                                          basic_literal_lexer,
                                          basic_literal_lexer.float_literal,
                                          actual);
    return result && std::abs(expected - actual) < std::numeric_limits<float>::epsilon();
}

int main(int argc, char *argv[]) {
    if (parse_and_check_float("+31.4e-1", 3.14)) {
        return EXIT_SUCCESS;
    } else {
        return EXIT_FAILURE;
    }
}

解析“真实”和“虚假”

我的问题是在尝试解析“true”和“false”时。这是我正在使用的测试代码(在删除Boost.Test部分之后):

bool parse_and_check_bool(std::string const & input, bool expected) {
    typedef std::string::const_iterator base_iterator_type;
    typedef lex::lexertl::token<base_iterator_type,
                token_value_type
            > token_type;
    typedef lex::lexertl::lexer<token_type> lexer_type;

    basic_literal_tokens<lexer_type> basic_literal_lexer;
    base_iterator_type input_iter(input.begin());

    bool actual;
    lex::token_def<bool> parser = expected ? basic_literal_lexer.literal_true
                                           : basic_literal_lexer.literal_false;
    bool result = lex::tokenize_and_parse(input_iter, input.end(),
                                          basic_literal_lexer, parser,
                                          actual);
    return result && actual == expected;
}

但是编译失败了:

boost/spirit/home/qi/detail/assign_to.hpp: In function ‘void boost::spirit::traits::assign_to(const Iterator&, const Iterator&, Attribute&) [with Iterator = __gnu_cxx::__normal_iterator<const char*, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >, Attribute = bool]’:
boost/spirit/home/lex/lexer/lexertl/token.hpp:434:   instantiated from ‘static void boost::spirit::traits::assign_to_attribute_from_value<Attribute, boost::spirit::lex::lexertl::token<Iterator, AttributeTypes, HasState>, void>::call(const boost::spirit::lex::lexertl::token<Iterator, AttributeTypes, HasState>&, Attribute&) [with Attribute = bool, Iterator = __gnu_cxx::__normal_iterator<const char*, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >, AttributeTypes = boost::mpl::vector<int, float, bool, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na, mpl_::na>, HasState = mpl_::bool_<true>]’

... backtrace of instantiation points ....

boost/spirit/home/qi/detail/assign_to.hpp:79: error: no matching function for call to ‘boost::spirit::traits::assign_to_attribute_from_iterators<bool, __gnu_cxx::__normal_iterator<const char*, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >, void>::call(const __gnu_cxx::__normal_iterator<const char*, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >&, const __gnu_cxx::__normal_iterator<const char*, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >&, bool&)’
boost/spirit/home/qi/detail/construct.hpp:64: note: candidates are: static void boost::spirit::traits::assign_to_attribute_from_iterators<bool, Iterator, void>::call(const Iterator&, const Iterator&, char&) [with Iterator = __gnu_cxx::__normal_iterator<const char*, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >]

我对此的解释是,Spirit.Qi不知道如何将字符串转换为bool - 当然不是这样吗?有没有其他人这样做过?如果是这样,怎么样?

3 个答案:

答案 0 :(得分:2)

你想要像

这样的东西
qi::rule<Iterator, bool> true_false_parser;
a = qi::lexeme[ qi::no_case[ qi::eps > ( qi::lit("true")[ _val=true] | qi::lit("false")[ _val=false] ) ] ];

这将抛弃令牌不是“真”或“假”

默认为false

qi::rule<Iterator, bool> true_false_parser;
a = qi::lexeme[ qi::no_case[ ( qi::lit("true")[ _val=true] ) | (*qi::char_)[_val=false] ] ];

答案 1 :(得分:1)

这看起来好像是精神2.4.1中的一个错误,已经在颠覆中得到修复。日志消息为"Spirit: Fixing cut&paste error, adding missing specializations for assign_to_attribute_from_iterators<>."(hkaiser于2010-11-18签入r66624)。

答案 2 :(得分:0)

您提供的代码使用Spirit V2.4.1编译好(与oost V1.45一起发布)。看来你正在遭遇一个已经在最新版本中修复过的bug。