如何在AWS Glue Crawlers中监视和控制DPU使用情况

Question

在the docs中，默认情况下，AWS默认为每个ETL作业分配10个DPU，每个开发端点分配5个DPU，即使两者都配置了至少2个DPU。

它还提到爬行也以第二增量定价，并且最小运行时间为10分钟，但没有指定分配多少DPU。可以在Glue控制台中配置作业和开发端点以消耗更少的DPU，但我还没有看到任何这样的爬虫配置。

每个抓取工具是否有固定数量的DPU？我们能控制这个数量吗？

Answer 1

这是我与AWS Support关于此主题的对话：

您好，我想知道某个搜寻器要使用多少DPU 用爬虫计算我的费用。

他们的答案：

尊敬的AWS客户

感谢您今天与我们联系。我叫Safari，我会协助 随你的案子。

我了解到，在汇总您的Glue爬虫成本时， 您想知道特定搜寻器使用的DPU数量。

不幸的是，没有直接的方法可以找到DPU的消耗量 由给定的搜寻器。我带来的不便表示歉意。但是你 可能会在您的详细信息中看到所有爬虫的总DPU消耗 AWS服务收费>胶水> {区域}> AWS部分下的账单 胶履带运行。此外，您可以将标签添加到您的抓取工具和 然后从您的AWS账单和费用中启用“费用分配标签” 管理控制台。这将允许AWS产生成本分配 报告按预定义标签分组。有关更多信息，请参阅 [1]下面的文档链接。

我希望这会有所帮助。请告诉我是否可以为您提供任何服务 其他帮助。

参考文献[1]： https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html

Answer 2

与AWS支持团队讨论，目前无法修改或查看Glue - crawler的DPU配置详细信息。但是，爬虫是否使用DPU？