AWS Glue及其开发端点之间的差异

Question

我的理解是，AWS Glue中的Dev Endpoints可用于迭代开发代码，然后将其部署到Glue作业中。我发现这在开发Spark作业时特别有用，因为每次运行作业时，都需要花费几分钟才能在后台启动Hadoop集群。但是，我发现在Glue中使用Python shell而不是Spark时出现了差异。 Import pg在我使用Sagemaker JupyterLab Python笔记本创建的Dev Endpoint中不起作用，但是在我使用Python Shell创建作业时在AWS Glue中起作用。在Glue中存在的dev端点中不应该存在相同的库吗？如果您无法在两个地方（开发端点和Glue作业）都重现相同的代码，那么拥有开发端点的意义何在？

Answer 1

首先，Python shell作业不会在后端启动Hadooo群集，因为它没有为您的作业提供Spark环境。 其次，由于PyGreSQL不是用纯Python编写的，因此它不适用于Glue的本地环境（Glue Spark Job，Dev端点等） 第三，Python Shell对某些内置软件包提供了额外的支持。

因此，我看不出将DevEndpoint用于Python Shell作业。