从RDS到S3副本的模板上的数据管道错误

Question

我正在使用模板进行复制。在“S3”数据节点中，我已配置自定义格式，因为我的列数据包含“逗号”。

我使用的自定义数据格式具有以下属性

列分隔符“是PIPE（”|“），记录分隔符是”\ n“

当我运行管道时，数据没有加载到S3并且给我以下错误

复制记录时出错\ n原因：java.lang.reflect.InvocationTargetException \ nCause：null \ nCause：引号字符必须以记录格式定义

任何人都遇到了这个问题。

Answer 1

“Escape Char”选项未显示在AWS Data管道

中的“自定义”格式类型下

您可以使用“TSV”类型作为自定义格式类型，并提供：

• “列分隔符”作为管道（|），
• “记录分隔符”为新行（\ n），
• “Escape Char”作为反斜杠（\）或您想要的任何其他角色。

Answer 2

如果您使用Aurora作为源数据库，我建议您使用SELECT INTO OUTFILE S3命令。否则，使用EMR构建自己的（hive和sqoop项目将帮助您）。