如何解决AWS爬虫的问题,该爬虫在双引号内拆分逗号并破坏了数据目录?

时间:2019-08-26 21:52:28

标签: amazon-web-services amazon-athena aws-glue aws-glue-data-catalog

我正在设置一个新的搜寻器,该搜寻器按计划执行,但以双引号将逗号括起来会失败

我搜索发现OpenCSVSerDe lib用于编辑表详细信息,但是我正在创建新表,并且我想知道如何添加一些配置以使搜寻器能够正确生成数据目录

如果csv文件的值类似于"$3.62","4,406",则数据目录应为

col0     col1
"$3.62"  "4,406"

但是我得到了:

col0     col1  col2
"$3.62"  "4    406"

1 个答案:

答案 0 :(得分:0)

尝试创建分类器(“搜寻器”→“分类器”)并将其分配给特定的搜寻器(“搜寻器信息”→“标记,描述,安全配置和分类器”)。

我尝试了以下设置,并且效果很好: enter image description here