在 AWS 中，从 sagemaker 执行笔记本

Question

我正在使用 AWS SageMaker 笔记本。

从 sagemaker 执行 notebook 的最佳方式是什么？

• 我的想法是拥有一个 S3 存储桶。
• 当一个新文件放在那里时，我想执行一个从 S3 读取并将输出放入其他存储桶的笔记本。

从现在开始我唯一的方法是启动一个 S3 事件，执行一个 lambda 函数来启动一个 sagemaker 实例并执行笔记本。但是开始的时间太长了，而且对于我的大笔记本来说还行不通。

也许最好将笔记本导出并从 aws 中的另一个地方执行它（为了更快），但我不知道在哪里。

提前致谢

Answer 1

我的经验有限，但是..如果您正在谈论训练作业，那么启动一个的唯一方法是创建您自己的容器，推送到 ECR 并直接启动训练作业，而无需处理笔记本。我正在做一个类似的项目，其中 S3 上传会触发一个 lambda 函数来启动一个容器（它不是 sagemaker，但概念或多或少是相同的）。这种方法的问题在于，AWS 需要时间来启动一个实例，我想说是几分钟。另一种方法可能是拥有一个永久运行端点并以某种方式触发细化。