我正在尝试创建一个脚本,该脚本将在sagemaker和培训上运行处理作业。 在我的处理工作中,我想使用从处理工作中获得的一些配置保存一个json文件。
metadata_path = os.path.join('/opt/ml/processing/metadata', 'metadata.json')
with open(metadata_path, 'w') as outfile:
json.dump(metadata, outfile)
在我的sklearn处理器中,输出为:
ProcessingOutput(source='/opt/ml/processing/metadata',
destination=my_s3_location,
output_name='metadata')
并在我的训练脚本中:
metadata_directory = '/opt/ml/processing/metadata'
metadata_data = os.path.join(metadata_directory, 'metadata.json')
with open(metadata_data) as json_file:
metadata = json.load(json_file)
错误是:
FileNotFoundError:[错误2]没有这样的文件或目录:'/opt/ml/processing/metadata/metadata.json'
错误:sagemaker容器:ExecuteUserScript错误:
我的问题是,如何保存非输入文件或train \ test \ validation文件夹? 谢谢!