自然语言文本变异的模板语言

时间:2015-09-23 12:50:22

标签: nlp semantics

坚持一项似乎导致更广泛问题的相当微不足道的任务。

需要能够生成相同短文本的光变化。有些单词形式取决于说话者的性别,有些可以用同义词代替。

伪代码:

I {random:decided|made up my mind} to {random:try|test|give a try to}
this {new|fresh} {cool|awesome} {service|web service|online tool}.

我正在寻找一种“行业标准”模板语言来描述这些文本和可能的变化。进一步思考,我可能想要全局变量(如性别一个),交叉链接以获取在句子前面选择的依赖项。

这看起来接近正则表达式语法。理想情况下,非程序员可以更易读/写。

也许问题是众所周知的,有一种固态解决方案,比如一些专门用于该任务的编程语言?

2 个答案:

答案 0 :(得分:2)

我无法找到这样的东西所以我开始创建它。结果称为Nalgene - the natural language generation language。语法相当简单,但也足以支持递归短语,同义词,捕获值和依赖项。

%
    $person.name went to the $place to %action

%action
    ~buy a new $item
    ~sell @posessive($person.gender) $item

~buy
    buy
    purchase

$place
    store
    market

...

它输出生成的句子和树表示(主要目的是为ML系统生成训练数据)。

> jill went to the store to return her toothbrush

( %
    ( $person.name
        jill )
    ( $place
        store )
    ( %action
        ( $item
            toothbrush ) ) )

如果你在一年之后仍在寻找,请停下来打开一个问题,让我知道你用梦想的NLG语言寻求什么。

答案 1 :(得分:1)

假设您不允许在文本中使用括号或分隔符(或以某种方式转义它们),您可以毫不费力地完成此操作,例如在JavaScript中:

function randreplace (txt) {
    var matches = txt.match(/\{([^}]+)\}/g);
    for (var m in matches) {
        m = matches[m];
        var opts = m.substring(1, m.length-1); // rm '{' and '}'
        opts = opts.split('|');
        var rand = opts[Math.floor(Math.random() * opts.length)];
        txt = txt.replace(m, rand);
    }
    return txt;
}
var example = "I {decided|made up my mind} to {try|test|give a try to} this {new|fresh} {cool|awesome} {service|web service|online tool}.";

console.log(randreplace(example));