将字符串解析为没有strtok / lexer的标记

时间:2014-05-04 18:27:20

标签: c string parsing gcc

我想将一个字符串解析为一个标记数组。 ' \ n'和';'是分隔符,例如:

hello;hello
world

应转换为包含{"hello","hello","world"}

的数组

我尝试了很多不同的方法,但总是失败(因为它需要动态的char数组*我实现它时遇到了麻烦)。

请注意,我不能使用strtok或词法分析器。

我怎么能这样做?有什么意义吗?

编辑:这是我尝试使用的方法之一但是我遇到了分段错误(可能是我代码中某处的内存访问问题):

#include <stdio.h>
#include <malloc.h>
#include <fcntl.h>
#include <string.h>

typedef struct { 
    int fd;
    char *path;
    int size;
    char *mem;
    struct stat st;
} file;

file *readfile(char *path) {
    file *a=malloc(sizeof(file));
    a->path=path;
    a->fd=open(a->path,O_RDONLY);
    if(a->fd<0) return 0;
    fstat(a->fd,&a->st);
    a->size=a->st.st_size;
    a->mem=malloc(a->size);
    read(a->fd,a->mem,a->size);
    return a;
}

void releasefile(file *a) {
    free(a->mem);
    close(a->fd);
    free(a);
}

char **parse(int *w,file *a) {
    int i,j=0;
    w=0;
    for(i=0;i<=a->size;i++) {
        if(a->mem[i]=='\n' || a->mem[i]==';') { a->mem[i]='\0'; j++; }
    }
    char **out=malloc(sizeof(char *)*j);
    for(i=0;i<=a->size;i++) {
       if(a->mem[i-1]!='\0') continue;
       out[*w]=malloc(strlen(a->mem+i)+1);
       memcpy(out[*w],a->mem+i,strlen(a->mem+i)+1);
       w++;
           return out;
}

int main(int argc,char **argv) {
    file *a=readfile(argv[1]);
    int *w=malloc(sizeof(int));
    char **tokens=parse(w,a);
    int i;
    for(i=0;i<=*w;i++) {
        puts(tokens[i]);
        }
        releasefile(a);

    // ATM no need to check for mem leaks :)

}

算法描述:读取文件,将\ 0放在你看到分隔符的地方,启动并将\ 0分隔的标记推送到数组中。

1 个答案:

答案 0 :(得分:3)

计算机科学发生了什么?

无论如何写一个FSA - http://en.wikipedia.org/wiki/Finite-state_machine

可以使用表格

来完成此操作