在Amazon Sagemaker中使用Ground Truth和BlazingText配置培训作业

时间:2018-12-28 17:25:40

标签: amazon-sagemaker

我正在尝试使用其控制台在Amazon Sagemaker中配置带有BlazingText算法的Training-Job。我有一个清单文件,如下所示:

{"source":"Text1","GroundtruthTryVideo":2,"GroundtruthTryVideo-metadata": 
{"confidence":0.66,"job-name":"labeling-job/groundtruthtryvideo","class-name":"TrackingToProspecting","human-annotated":"yes","creation-date":"2018-12-27T00:37:23.894062","type":"groundtruth/text-classification"}}
{"source":"Text2","GroundtruthTryVideo":1,"GroundtruthTryVideo-metadata": 
{"confidence":0.66,"job-name":"labeling-job/groundtruthtryvideo","class-name":"FirstDateProspecting","human-annotated":"yes","creation-date":"2018-12-27T00:37:23.894043","type":"groundtruth/text-classification"}}
{"source":"Text3","GroundtruthTryVideo":1,"GroundtruthTryVideo-metadata": 
{"confidence":0.9,"job-name":"labeling-job/groundtruthtryvideo","class-name":"FirstDateProspecting","human-annotated":"yes","creation-date":"2018-12-27T00:38:26.377216","type":"groundtruth/text-classification"}}

当我尝试使用此清单创建训练作业时,结果总是出现问题,我的配置是:

算法来源:

Amazon SageMaker内置算法(BlazingText)

渠道:

  • S3数据类型:ManifestFile
  • S3数据分发类型:FullyReplicated
  • S3位置:ManifestFile的路径(在S3存储桶中)

我尝试使用augmentedManifestFilePipe作为输入模式,而不是ManifestFileFile输入,但是我得到相同的结果,我无法完成培训工作成功。

有人可以帮助我正确配置控制台吗?谢谢。

1 个答案:

答案 0 :(得分:0)

我是AWS的工程师,并希望提供一些其他帮助。我会回应上面的建议,以检查您的训练作业请求定义中的AttributeNames参数。我也想提请您注意一些示例,这些示例可能有助于说明此功能的使用。

  1. 这个示例木星笔记本显示了如何使用增强清单来训练物体检测模型。我知道此用例与您自己的用例稍有不同(对象检测与文本分类),但是概念相似。 https://github.com/awslabs/amazon-sagemaker-examples/blob/master/ground_truth_labeling_jobs/object_detection_augmented_manifest_training/object_detection_augmented_manifest_training.ipynb
  2. 这个完整的,端到端的标记作业示例还包含一些有关增强清单的内容,这些内容可能会有用。 https://github.com/awslabs/amazon-sagemaker-examples/blob/master/ground_truth_labeling_jobs/object_detection_augmented_manifest_training/object_detection_augmented_manifest_training.ipynb
  3. 此博客文章提供了另一个示例,该示例通过AWS控制台来对带有增强清单的模型进行训练。 https://aws.amazon.com/blogs/machine-learning/easily-train-models-using-datasets-labeled-by-amazon-sagemaker-ground-truth/
  4. 最后,增强清单的文档可能也很有价值。 https://docs.aws.amazon.com/sagemaker/latest/dg/augmented-manifest.html#augmented-manifest-console

最后,请记住,可以通过https://aws.amazon.com/contact-us/与我们联系AWS。