你怎么给(openFST制作的)FST输入?输出在哪里?

时间:2012-02-22 07:11:47

标签: python shell fsm openfst

在开始之前,请注意我使用的是linux shell(来自Python的using subprocess.call()),我正在使用openFST。

我一直在筛选有关openFST的文档和问题,但我似乎无法找到这个问题的答案:如何实际为openFST定义,编译和编写的FST提供输入?输出在哪里?我只是执行'fstproject'吗?如果是这样的话,我怎么会给它一个字符串来转换,并在达到最终状态时打印各种转换?

如果这个问题显而易见,我道歉。我还不熟悉openFST。

3 个答案:

答案 0 :(得分:22)

一种方法是创建执行转换的计算机。 一个非常简单的例子是大写字符串。

M.wfst

0 0 a A
0 0 b B
0 0 c C
0

随附的符号文件包含用于字母表的每个符号的行。注0保留用于空(epsilon)转换,并且在许多操作中具有特殊含义。

M.syms

<epsilon> 0
a 1
b 2
c 3
A 4
B 5
C 6

然后编译机器

fstcompile --isymbols=M.syms --osymbols=M.syms M.wfst > M.ofst

对于输入字符串“abc”创建一个线性链自动机,这是一个从左到右的链,每个字符都有一个弧。这是一个接受者所以我们只需要一个列 输入符号。

I.wfst

0 1 a
1 2 b
2 3 c
3  

编译为接受者

fstcompile --isymbols=M.syms --acceptor I.wfst > I.ofst

然后撰写机器并打印

fstcompose I.ofst M.ofst | fstprint --isymbols=M.syms --osymbols=M.syms 

这将给出输出

0   1   a   A
1   2   b   B
2   3   c   C
3

fstcompose的输出是输入字符串的所有转换的网格。 (在这种情况下只有一个)。如果M.ofst更复杂,可以使用fstshortestpath使用标志--unique -nshortest = n来提取n字符串。这个输出又是一个传感器,你可以废弃fstprint的输出,或者使用C ++代码和OpenFst库来运行深度优先搜索来提取字符串。

插入fstproject --project_output会将输出转换为仅包含输出标签的接收器。

fstcompose I.ofst M.ofst | fstproject --project_output |  fstprint --isymbols=M.syms --osymbols=M.syms 

提供以下内容

0  1  A  A
1  2  B  B
2  3  C  C
3

这是一个接受器,因为输入和输出标签是相同的,-acceptor选项可用于生成更简洁的输出。

 fstcompose I.ofst M.ofst | fstproject --project_output |  fstprint --isymbols=M.syms --acceptor

答案 1 :(得分:1)

Paul Dixon的例子很好。由于OP使用Python,因此我想举一个简单的示例,说明如何使用Open FST's Python wrapper“运行”换能器。遗憾的是,您无法使用Open FST创建“线性链自动机”,但是自动化很简单,如下所示:

def linear_fst(elements, automata_op, keep_isymbols=True, **kwargs):
    """Produce a linear automata."""
    compiler = fst.Compiler(isymbols=automata_op.input_symbols().copy(), 
                            acceptor=keep_isymbols,
                            keep_isymbols=keep_isymbols, 
                            **kwargs)

    for i, el in enumerate(elements):
        print >> compiler, "{} {} {}".format(i, i+1, el)
    print >> compiler, str(i+1)

    return compiler.compile()

def apply_fst(elements, automata_op, is_project=True, **kwargs):
    """Compose a linear automata generated from `elements` with `automata_op`.

    Args:
        elements (list): ordered list of edge symbols for a linear automata.
        automata_op (Fst): automata that will be applied.
        is_project (bool, optional): whether to keep only the output labels.
        kwargs:
            Additional arguments to the compiler of the linear automata .
    """
    linear_automata = linear_fst(elements, automata_op, **kwargs)
    out = fst.compose(linear_automata, automata_op)
    if is_project:
        out.project(project_output=True)
    return out

让我们定义一个简单的Transducer,将字母“ a”大写:

f_ST = fst.SymbolTable()
f_ST.add_symbol("<eps>", 0)
f_ST.add_symbol("A", 1)
f_ST.add_symbol("a", 2)
f_ST.add_symbol("b", 3)
compiler = fst.Compiler(isymbols=f_ST, osymbols=f_ST, keep_isymbols=True, keep_osymbols=True)

print >> compiler, "0 0 a A"
print >> compiler, "0 0 b b"
print >> compiler, "0"
caps_A = compiler.compile()
caps_A

enter image description here

现在,我们可以使用以下命令简单地应用换能器:

apply_fst(list("abab"), caps_A)

输出: enter image description here

要查看如何将其用作受体,请查看我的other answer

答案 2 :(得分:0)

更新 Yann Dubois 对 python3 的回答:

import pywrapfst as fst

print("")
f_ST: fst.SymbolTable


def linear_fst(elements, automata_op, keep_isymbols=True, **kwargs):
    """Produce a linear automata."""
    compiler = fst.Compiler(
        isymbols=f_ST,  # There should be some way to get this from automata_op
        acceptor=keep_isymbols,
        keep_isymbols=keep_isymbols,
        **kwargs
    )
    for i, el in enumerate(elements):
        print("{} {} {}".format(i, i + 1, el), end="", file=compiler)
    print(str(i + 1), end="", file=compiler)
    lf = compiler.compile()
    return lf


def apply_fst(elements, automata_op, print_la=True, is_project=False, **kwargs):
    """Compose a linear automata generated from `elements` with `automata_op`.
    Args:
        elements (list): ordered list of edge symbols for a linear automata.
        automata_op (Fst): automata that will be applied.
        print_la (bool, optional): print linear automata as text representation
        is_project (str, optional): whether to keep only the "input" or "output" labels.
        kwargs: Additional arguments to the compiler of the linear automata .
    """
    linear_automata = linear_fst(elements, automata_op, **kwargs)
    if print_la:
        print("Linear Automata:\n", linear_automata)
    out = fst.compose(linear_automata, automata_op)
    if is_project:
        out.project("output")
    return out


f_ST = fst.SymbolTable()
f_ST.add_symbol("<eps>", 0)
f_ST.add_symbol("A", 1)
f_ST.add_symbol("a", 2)
f_ST.add_symbol("b", 3)
compiler = fst.Compiler(
    isymbols=f_ST, osymbols=f_ST, keep_isymbols=True, keep_osymbols=True
)

print("0 0 a A", end="", file=compiler)
print("0 0 b b", end="", file=compiler)
print("0", end="", file=compiler)
caps_A = compiler.compile()
print("Uppercase Transducer with", caps_A.num_states(), "states:\n", caps_A)

caps_I = apply_fst(list("abab"), caps_A)
print("Output:\n", caps_I)

打印:

Uppercase Transducer with 1 states:
 0  0   a   A
0   0   b   b
0

Linear Automata:
 0  1   a   2
1   2   b   3
2   3   a   2
3   4   b   3
4

Output:
 0  1   a   A
1   2   b   b
2   3   a   A
3   4   b   b
4