我正在尝试学习如何使用AWS Sagemaker,并且偶然发现了将输入数据设置为清单文件或增强清单文件的设置。通过Sagemaker控制台创建培训作业时,我在输入数据配置部分中看到,无法使用以下设置组合:
Input mode = File
S3 data type = AugmentedManifestFile
,因为这会导致错误Pipe mode is required for AugmentedManifestFile S3 data type.
。
在输入数据配置部分中,我还可以选择AgumentedManifestFile的属性名称,而不能为ManifestFile选项选择。这是因为所有清单文件都必须遵循相同的模板,而增强清单文件使您可以决定模板吗?
此外,我还在this tutorial中看到清单文件可用于增量训练,但不能用于增强清单文件。我想把这些碎片拼凑在一起,但是我似乎并没有完全了解它们之间的差异。
答案 0 :(得分:0)
ManifestFile
和AugmentedManifestFile
的文档在这里:https://docs.aws.amazon.com/sagemaker/latest/dg/API_S3DataSource.html#SageMaker-Type-S3DataSource-S3DataType
这里还有AugmentedManifestFiles
的更多详细信息:https://docs.aws.amazon.com/sagemaker/latest/dg/augmented-manifest.html
要使用AugmentedManifestFiles
,您必须使用能够读取数据格式的算法,因此,是的,您提到的增量培训教程中的示例不能使用此格式。