AWS Glue搜寻器-分区键类型

Question

我正在使用Spark将文件以ORC格式写入S3。 还使用Athena来查询此数据。

我正在使用以下分区键：

s3://bucket/company=1123/date=20190207

一旦我执行了Glue搜寻器以在存储桶上运行，除了分区键的类型之外，其他所有东西都按预期工作。

“抓取工具”在目录中将它们配置为String类型，而不是int

是否有配置定义分区键的默认类型？

我知道以后可以手动对其进行更改，并将“抓取工具”配置设置为Add new columns only.

Answer 1

胶搜寻器始终将分区键视为字符串类型，不幸的是，没有可用的配置选项来更改此行为。