AWS Lambda是否比AWS Glue Job更受青睐?

时间:2020-08-26 14:29:53

标签: amazon-web-services aws-lambda aws-glue

在AWS Glue作业中,我们可以编写一些脚本并通过作业执行脚本。

在AWS Lambda中,我们也可以编写相同的脚本并执行上述作业中提供的相同逻辑。

因此,我的查询不是AWS Glue作业与AWS Lambda之间的区别,但是我想弄清楚何时应该优先使用AWS Glue作业而不是AWS Lambda,尤其是当两者都相同时?如果两者都做同样的工作,那么理想情况下,我会盲目地喜欢使用AWS Lambda本身,对吗?

请尝试理解我的查询。

2 个答案:

答案 0 :(得分:1)

附加点:

Per this sourceLambda FAQGlue FAQ

Lambda 可以使用多种不同的语言(Node.js、Python、Go、Java 等),而 Glue 只能使用 Scala 或 Python 代码执行作业。

Lambda 可以从其他服务(SQS、Kaftka、DynamoDB、Kinesis、CloudWatch 等)的触发器执行代码,而 Glue 可以由 lambda 事件、其他 Glue 作业、手动或按计划触发。

Lambda 对于较小的任务运行得更快,而 Glue 作业由于使用分布式处理而需要更长的时间来初始化。也就是说,Glue 利用其并行处理比 Lambda 更快地运行大型工作负载。

Lambda 看起来需要更多复杂性/代码来集成到数据源(Redshift、RDS、S3、在 ECS 实例上运行的数据库、DynamoDB 等),而 Glue 可以轻松地与这些集成。然而,通过添加 Step Functions,多个 lambda 函数可以顺序编写和排序,因为降低了复杂性并提高了模块化,其中每个函数都可以集成到 aws 服务(Redshift、RDS、S3、在 ECS 实例上运行的数据库、DynamoDB 等)。 )

Glue 看起来有许多附加组件,例如 Data Catalog,它是一个用于查看数据的中央元数据存储库,一个灵活的调度程序,用于处理依赖项解析/作业监控/重试,AWS Glue DataBrew 用于清理和规范化数据可视化界面、用于跨多个数据存储组合和复制数据的 AWS Glue 弹性视图、用于验证流数据架构的 AWS Glue 架构注册表。

我还缺少其他示例,请随时发表评论,我可以更新。

答案 1 :(得分:0)

Lambda的寿命为15分钟。它可用于触发胶粘作业,作为基于事件的主动性。也就是说,例如,当文件在S3中着陆时,我们可以有一个事件触发器,该事件触发器可以运行粘合作业。胶水是用于所有数据处理的托管服务。

如果数据非常低,也许您可​​以在lambda中进行处理,但是由于某些原因,该过程超过了15分钟,那么数据处理将失败。