AWS Glue搜寻器太慢

时间:2020-04-17 06:20:48

标签: amazon-dynamodb aws-glue aws-glue-data-catalog

使用aws胶有问题。

我正在尝试使用搜寻器来构建数据目录,但这花费的时间太长。

此外,它使用了过多的dynamodb读取容量。

通常,读取容量不多,但是读取容量增加到62。

我知道搜寻器是只生成元数据的函数,但是为什么要花这么长时间?

运行约一个小时后,取消花费了太长时间。

爬虫是否正在从dynamodb读取所有数据?

我的炸药

  • dynamodb存储容量:66GB

  • 动态记录:158,296,668

  • 读/写容量模式:按需

0 个答案:

没有答案