配置搜寻器时选择列名称

Question

可以定义搜寻器创建的表中将包括哪些列？我有一个超过20列的JSON文件，但最后我只需要使用2列即可。在哪里可以配置它？

Answer 1

AWS Glue提供了使用custom classifiers的可能性。使用Grok patterns可以将其配置为仅选择所需的列。

例如，如果您的CSV如下所示：

1,20/08/2018,test,230

，而您只想选择第二列和最后一列，则应遵循以下模式：

^[^\,]*\,%{DATE_EU:date}\,[^\,]*\,%{NUMBER:amount:int}$

您可以先在this online tool中对其进行测试，然后再在Glue中使用它。