在开始之前,请注意我使用的是linux shell(来自Python的using subprocess.call()
),我正在使用openFST。
我一直在筛选有关openFST的文档和问题,但我似乎无法找到这个问题的答案:如何实际为openFST定义,编译和编写的FST提供输入?输出在哪里?我只是执行'fstproject'吗?如果是这样的话,我怎么会给它一个字符串来转换,并在达到最终状态时打印各种转换?
如果这个问题显而易见,我道歉。我还不熟悉openFST。
答案 0 :(得分:22)
一种方法是创建执行转换的计算机。 一个非常简单的例子是大写字符串。
M.wfst
0 0 a A
0 0 b B
0 0 c C
0
随附的符号文件包含用于字母表的每个符号的行。注0保留用于空(epsilon)转换,并且在许多操作中具有特殊含义。
M.syms
<epsilon> 0
a 1
b 2
c 3
A 4
B 5
C 6
然后编译机器
fstcompile --isymbols=M.syms --osymbols=M.syms M.wfst > M.ofst
对于输入字符串“abc”创建一个线性链自动机,这是一个从左到右的链,每个字符都有一个弧。这是一个接受者所以我们只需要一个列 输入符号。
I.wfst
0 1 a
1 2 b
2 3 c
3
编译为接受者
fstcompile --isymbols=M.syms --acceptor I.wfst > I.ofst
然后撰写机器并打印
fstcompose I.ofst M.ofst | fstprint --isymbols=M.syms --osymbols=M.syms
这将给出输出
0 1 a A
1 2 b B
2 3 c C
3
fstcompose的输出是输入字符串的所有转换的网格。 (在这种情况下只有一个)。如果M.ofst更复杂,可以使用fstshortestpath使用标志--unique -nshortest = n来提取n字符串。这个输出又是一个传感器,你可以废弃fstprint的输出,或者使用C ++代码和OpenFst库来运行深度优先搜索来提取字符串。
插入fstproject --project_output会将输出转换为仅包含输出标签的接收器。
fstcompose I.ofst M.ofst | fstproject --project_output | fstprint --isymbols=M.syms --osymbols=M.syms
提供以下内容
0 1 A A
1 2 B B
2 3 C C
3
这是一个接受器,因为输入和输出标签是相同的,-acceptor选项可用于生成更简洁的输出。
fstcompose I.ofst M.ofst | fstproject --project_output | fstprint --isymbols=M.syms --acceptor
答案 1 :(得分:1)
Paul Dixon的例子很好。由于OP使用Python,因此我想举一个简单的示例,说明如何使用Open FST's Python wrapper“运行”换能器。遗憾的是,您无法使用Open FST创建“线性链自动机”,但是自动化很简单,如下所示:
def linear_fst(elements, automata_op, keep_isymbols=True, **kwargs):
"""Produce a linear automata."""
compiler = fst.Compiler(isymbols=automata_op.input_symbols().copy(),
acceptor=keep_isymbols,
keep_isymbols=keep_isymbols,
**kwargs)
for i, el in enumerate(elements):
print >> compiler, "{} {} {}".format(i, i+1, el)
print >> compiler, str(i+1)
return compiler.compile()
def apply_fst(elements, automata_op, is_project=True, **kwargs):
"""Compose a linear automata generated from `elements` with `automata_op`.
Args:
elements (list): ordered list of edge symbols for a linear automata.
automata_op (Fst): automata that will be applied.
is_project (bool, optional): whether to keep only the output labels.
kwargs:
Additional arguments to the compiler of the linear automata .
"""
linear_automata = linear_fst(elements, automata_op, **kwargs)
out = fst.compose(linear_automata, automata_op)
if is_project:
out.project(project_output=True)
return out
让我们定义一个简单的Transducer,将字母“ a”大写:
f_ST = fst.SymbolTable()
f_ST.add_symbol("<eps>", 0)
f_ST.add_symbol("A", 1)
f_ST.add_symbol("a", 2)
f_ST.add_symbol("b", 3)
compiler = fst.Compiler(isymbols=f_ST, osymbols=f_ST, keep_isymbols=True, keep_osymbols=True)
print >> compiler, "0 0 a A"
print >> compiler, "0 0 b b"
print >> compiler, "0"
caps_A = compiler.compile()
caps_A
现在,我们可以使用以下命令简单地应用换能器:
apply_fst(list("abab"), caps_A)
要查看如何将其用作受体,请查看我的other answer
答案 2 :(得分:0)
更新 Yann Dubois 对 python3 的回答:
import pywrapfst as fst
print("")
f_ST: fst.SymbolTable
def linear_fst(elements, automata_op, keep_isymbols=True, **kwargs):
"""Produce a linear automata."""
compiler = fst.Compiler(
isymbols=f_ST, # There should be some way to get this from automata_op
acceptor=keep_isymbols,
keep_isymbols=keep_isymbols,
**kwargs
)
for i, el in enumerate(elements):
print("{} {} {}".format(i, i + 1, el), end="", file=compiler)
print(str(i + 1), end="", file=compiler)
lf = compiler.compile()
return lf
def apply_fst(elements, automata_op, print_la=True, is_project=False, **kwargs):
"""Compose a linear automata generated from `elements` with `automata_op`.
Args:
elements (list): ordered list of edge symbols for a linear automata.
automata_op (Fst): automata that will be applied.
print_la (bool, optional): print linear automata as text representation
is_project (str, optional): whether to keep only the "input" or "output" labels.
kwargs: Additional arguments to the compiler of the linear automata .
"""
linear_automata = linear_fst(elements, automata_op, **kwargs)
if print_la:
print("Linear Automata:\n", linear_automata)
out = fst.compose(linear_automata, automata_op)
if is_project:
out.project("output")
return out
f_ST = fst.SymbolTable()
f_ST.add_symbol("<eps>", 0)
f_ST.add_symbol("A", 1)
f_ST.add_symbol("a", 2)
f_ST.add_symbol("b", 3)
compiler = fst.Compiler(
isymbols=f_ST, osymbols=f_ST, keep_isymbols=True, keep_osymbols=True
)
print("0 0 a A", end="", file=compiler)
print("0 0 b b", end="", file=compiler)
print("0", end="", file=compiler)
caps_A = compiler.compile()
print("Uppercase Transducer with", caps_A.num_states(), "states:\n", caps_A)
caps_I = apply_fst(list("abab"), caps_A)
print("Output:\n", caps_I)
打印:
Uppercase Transducer with 1 states:
0 0 a A
0 0 b b
0
Linear Automata:
0 1 a 2
1 2 b 3
2 3 a 2
3 4 b 3
4
Output:
0 1 a A
1 2 b b
2 3 a A
3 4 b b
4