Question

我只需要在ANTLR3中使用词法分析器，我不需要解析器。我该怎么做？我使用下面的代码（在main.c中），我在互联网上发现了一些代码。

    #include <CLexer.h>
#include <CParser.h>

int ANTLR3_CDECL

main    (int argc, char *argv[])
{
    pANTLR3_UINT8               fileName;
    pANTLR3_INPUT_STREAM        inputStream;
    pCLexer                     cLexer;
    pANTLR3_COMMON_TOKEN_STREAM tokenStream;
    pCParser                    cParser;

    // Имя входного файла по умолчанию - "input", но
    // его можно задать аргументом программы
    //
    if (argc < 2 || argv[1] == NULL)
    {
        fileName = (pANTLR3_UINT8) "./input";
    }
    else
    {
        fileName = (pANTLR3_UINT8) argv[1];
    }

    // Открываем входной поток, связанный с этим файлом
    //
    inputStream = antlr3AsciiFileStreamNew(fileName);
    if ( inputStream == NULL)
    {
        // Аварийный выход (файл не открывается)
        //
        fprintf(stderr, "Failed to open file %s\n", (char *) fileName);
        exit(1);
    }

    // Создаём лексер, связанный с открытым потоком
    //
    cLexer = CLexerNew(inputStream);
    if ( cLexer == NULL )
    {
        // Аварийный выход (закончилась память, лол)
        //
        fprintf(stderr, "Unable to create the lexer due to malloc() failure1\n");
        exit(1);
    }

    // Получаем поток токенов из входных данных
    //
    tokenStream = antlr3CommonTokenStreamSourceNew(ANTLR3_SIZE_HINT, 
                                                   TOKENSOURCE(cLexer));
    if (tokenStream == NULL)
    {
        // Аварийный выход (закончилась память)
        //
        fprintf(stderr, "Out of memory trying to allocate token stream\n");
        exit(1);
    }

    // Создаём парсер, связанный с потоком токенов
    //
    cParser = CParserNew(tokenStream);
    if (cParser == NULL)
    {
        // Аварийный выход (закончилась память, хотя, мне кажется,
        // что здесь более вероятны другие причины ошибки)
        //
        fprintf(stderr, "Out of memory trying to allocate parser\n");
        exit(ANTLR3_ERR_NOMEM);
    }

    // Не знаю
    //
    cParser->translation_unit(cParser);

    // Уничтожаем созданные "объекты" в том порядке, в котором их создавали
    //
    cParser ->free(cParser);
    cParser = NULL;
    tokenStream ->free(tokenStream);
    tokenStream = NULL;
    cLexer ->free (cLexer);
    cLexer = NULL;
    inputStream ->close (inputStream);
    inputStream = NULL;

    return 0;
}

但看起来它也使用了解析器，因为当我尝试使用它时，我在控制台中遇到了大量的解析错误。

Answer 1

在tokenStream'对象'上使用getTokens（）来获取令牌的ANTLR向量。然后打印矢量的内容。

//This runs fillBuffer() which is the function that runs the lexer to completion
pANTLR3_VECTOR tList = tokenStream->getTokens(tokenStream);

pANTLR3_COMMON_TOKEN token = tList->get(tList,0);

如何在没有解析器的情况下使用ANTLR3词法分析器？

1 个答案: