CNTKTextFormatDeserializer的概念是什么？为什么要使用？

Question

我正在使用CNTKTextReader来读取我的训练和测试集。火车文件越来越大（现在是2.7 GB，很快就会变大）。

我不明白什么是“CNTKTextFormatDeserializer” - 我发现的文档没有解释大图是什么 - 它是什么以及为什么使用它？我发现的文档只是进入了它的语法。

那么，是否可以使用这些文件的二进制版本来使它们更紧凑？

Answer 1

一般来说，读者只是让培训的某些方面更容易的一种方法。其中包括

1. 随机化：当呈现给它的数据以随机顺序出现时，SGD会更好地概括。读者可以随时随机调整数据随机化。
2. 分布式培训：对于分布式培训，读者了解多个工作人员，并确保他们收到不同的数据块。
3. 内存预算问题：读者不会将整个培训文件加载到内存中。
4. 语言无关i / o ：阅读器提供了一种跨平台的数据读取方式。 （如果你想永远使用Python，你可能不关心这个，但其他人也这么做。）

CTF格式有点冗长，实际上最近添加了binary format deserializer。