在AWS sagemaker上以脚本模式训练自动编码器

Question

我想使用keras训练自动编码器，其中X_train是mxn矩阵，y_train也是mxn矩阵。 例

X_train = np.array(([1, 2], 
               [3, 4]))
y_train = np.array(([5, 6], 
               [7, 8]))

我将train_set中的两个矩阵连接起来并保存到一个文件training.npy

train_set = np.concatenate([X_train, y_train], axis=1)
print(train_set)
array([[1, 2, 5, 6],
       [3, 4, 7, 8]])

稍后我将其保存到S3

training_path_input = sess.upload_data('/tmp/training.npy', key_prefix=prefix+'/training')

现在我适合模型了

model.fit({'train': training_path_input })

我想知道估算器如何找到X_train和y_train的索引，因为y_train与其他情况不同，它不是向量。有什么方法可以在fit()方法中指定它。

还是有其他替代方法？

Answer 1

fit方法有两件事：（1）将数据从training_path_input（在S3上）复制到SageMaker训练实例中的/opt/ml/input/data/<channel>（在您的情况下为/opt/ml/input/data/train）和（2 ）使用您指定的任何超参数启动代码。您需要确保您的培训代码知道如何读取要复制到计算机上的文件类型。您的培训代码必须包括将从本地读取复制文件的代码。