boost-spirit-lex是否为令牌提供字符串名称?

时间:2013-10-08 09:41:45

标签: c++ parsing lex boost-spirit lexical-analysis

编辑:我已经删除了词法分析器,因为它没有与Qi完全整合,只是混淆了语法(参见here)。


我需要为令牌类型提供一个名称,我可以在on_error中的qi处理程序中使用该名称。目前,_4qi::on_error<..>(...,std::cout << _4 << std::endl))占位符正在为我提供令牌的正则表达式字符串。我的词霸看起来如下:

template <typename Lexer>
struct tokens : lex::lexer<Lexer>
{
    tokens()
        : left_curly("\"{\""),
        right_curly("\"}\""),
        left_paren("\"(\""),
        right_paren("\")\""),
        colon(":"),
        scolon(";"),
        namespace_("(?i:namespace)"),
        event("(?i:event)"),
        optional("(?i:optional)"),
        required("(?i:required)"),
        repeated("(?i:repeated)"),
        t_int_4("(?i:int4)"),
        t_int_8("(?i:int8)"),
        t_string("(?i:string)"),
        ordinal("\\d+"),
        identifier("\\w+")

    {
        using boost::spirit::lex::_val;

        this->self
            = 
            left_curly    
            | right_curly 
            | left_paren
            | right_paren
            | colon         
            | scolon
            | namespace_      
            | event             
            | optional           
            | required          
            | repeated
            | t_int_4
            | t_int_8
            | t_string
            | ordinal             
            | identifier         
            | lex::token_def<>("[ \\t\\n]+")   [lex::_pass = lex::pass_flags::pass_ignore];
    }


    lex::token_def<lex::omit> left_curly, right_curly, colon, scolon,repeated, left_paren, right_paren;
    lex::token_def<lex::omit> namespace_, event, optional, required,t_int_4, t_int_8, t_string;
    lex::token_def<boost::uint32_t> ordinal;
    lex::token_def<std::string> identifier;
};

1 个答案:

答案 0 :(得分:0)

编辑:我已经删除了词法分析器,因为它没有与Qi完全整合,只是混淆了语法(参见here)。


这是一个脆弱的黑客攻击,用于检测on_error机制捕获的令牌。布线不会令人愉快:D

template<typename State>
struct error_handler_impl
{
    typedef void result_type;

    State & state;
    error_handler_impl(State & state) : state(state) {}

    template <typename What, typename Iterator>
    void operator()(const std::string & msg,What what, Iterator it) const
    {
        if(boost::get<boost::spirit::utf8_string>(what.value) == state.tok.identifier.definition())
        {
            std::cout << "token type is identifier" << std::endl;
        }
    }
};

state.tok是词法分析器对象,通过它可以访问令牌定义。