AWS爬网程序表位置

时间:2018-04-10 03:16:17

标签: aws-glue

我正在学习aws粘合剂,第一部分似乎是使用爬虫来查找表模式。

我在S3中有几个桶。一个叫做dgt-raw。它有一个文件,它是一个csv,路径为dgt-raw / accounts / account1 / account1-data.csv

我有一个爬虫,它有一个包含路径s3:// dgt-raw /。

它找到文件正常,但是没有正确地获取名称,它将其称为与存储桶相同的名称,并且也没有获得正确的位置?

名称dgt_raw 描述 数据库dgt-metadata-db 分类csv 位置s3:// dgt-raw /

我原以为它会给出名称“account1-data.csv”和s3:// dgt-raw // accounts / account1 /?

的位置

抓取工具是否正常工作,抓取工具的功能与我的期望有所不同,还是有些东西我做得不正确?

感谢

1 个答案:

答案 0 :(得分:0)

好的,所以看起来它仍然是一个小车(根据lynda.com存储和数据管理视频)。我把另一个csv文件放入dgt-raw / accounts / account1 - 和volia!它似乎选择了两个表,具有正确的位置和名称。随机的。