ROUGE评估方法给出零值

Question

我按照http://kavita-ganesan.com/rouge-howto中的说明设置了所有参数。但我得到零精度回忆值和f-1。请帮助我，我该怎么办？

Answer 1

如果您正确设置所有参数并且在运行rouge时没有收到任何错误，那么在制作html格式的摘要文件时可能会出现以下错误。

rouge does not handle whitespaces properly 
thus
<a name="1">[1]</a> <a href="#1" id= 1>
<a name="1">[1]</a> <a href="#1" id=1>
are not the same

在第一种情况下，您不会显示任何错误，但输出将为零。在第二种情况下，您可以获得正确的输出。

希望这会有所帮助..

Answer 2

settings.xml文件应如下所示：

<ROUGE_EVAL version="1.5.5">
    <EVAL ID="1">
        <PEER-ROOT>systems</PEER-ROOT>
        <MODEL-ROOT>models</MODEL-ROOT>
        <INPUT-FORMAT TYPE="SPL" />
        <PEERS>
            <P ID="1">peer.txt</P>
        </PEERS>
        <MODELS>
           <M ID="A">modelA.txt</M>
           <M ID="B">modelB.txt</M>
           <M ID="C">modelC.txt</M>
           <M ID="D">modelD.txt</M>
        </MODELS>
    </EVAL>
</ROUGE_EVAL>

虽然您的输入格式类型可能不同，但我发现SPL适用于.txt，而SEE适用于HTML。

让我感到惊讶的一件事是：<M ID="A">modelA.txt</M>，我把它作为<P ID="A">modelA.txt</P>，ROUGE并没有抱怨，只是因为每个值都是0。所以请留意这类小事。