标签: amazon-dynamodb aws-glue aws-glue-data-catalog
使用aws胶有问题。
我正在尝试使用搜寻器来构建数据目录,但这花费的时间太长。
此外,它使用了过多的dynamodb读取容量。
通常,读取容量不多,但是读取容量增加到62。
我知道搜寻器是只生成元数据的函数,但是为什么要花这么长时间?
运行约一个小时后,取消花费了太长时间。
爬虫是否正在从dynamodb读取所有数据?
我的炸药
dynamodb存储容量:66GB
动态记录:158,296,668
读/写容量模式:按需