正在研究张量流的texsum模型，即文本摘要。我在github/textsum处遵循自述文件中指定的命令。它表示存在于数据文件夹中的名为validation的文件将在eval步骤中使用，但数据文件夹中没有验证文件。
我想自己做一个，然后意识到它应该是一个二进制文件。所以我需要准备一个将转换为二进制的文本文件。 但该文本文件必须具有特定格式。它会与列车步骤中使用的文件相同吗？我可以使用相同的文件进行火车步骤和评估步骤吗？ 我遵循的步骤顺序是：
步骤1：使用vocab文件训练模型，该文件被提及为＆＃34;更新＆＃34;用于玩具数据集
第二步：训练持续了一段时间，并且已经被杀死了＃34; at running_avg_loss：3.590769
步骤3：使用相同的数据和词汇文件进行评估步骤，就像用于训练一样，我运行了eval。它使用6到7之间的running_avg_loss继续运行
我怀疑第3步，是否使用相同的文件。
答案 0 :(得分：1)
所以你不必运行eval，除非你在训练后确定训练如何对照以前从未见过的另一组数据进行测试。我也一直在唱歌，以确定我是否开始过度填充数据。
因此，您通常会占用整个数据集的20-30％，并将其用于评估过程。然后，您将根据您的培训数据进行培训。完成后，您可以根据需要立即运行解码，或者您可以针对从开头留出的20％ - 30％数据集运行eval。一旦您对结果感到满意，就可以运行解码来获得结果。
您的二进制格式应与训练数据相同。