我正在尝试将位于S3上的大约40gb文件（分成每个大约90MB的520个部分）加载到mysql中。我创建了aws数据管道S3到MySQL。
在加载之前，我在Hive中处理了这些记录，然后在S3上存储了输出文件。文件中的某些记录包含\ N表示NULL值。当我尝试加载此类记录数据时，管道失败。但是同样可以加载SQOOP，因为它可以在加载到MYSQL时处理NULL值。
有没有人知道我是否可以使用数据管道从S3加载MySQL中的记录？我可以设置任何JDBC属性吗？
答案 0 :(得分：0)
是的，通过将连接字符串更改为以下语法，可以非常轻松地完成此操作。您必须将jdbcCompliantTruncation设置为false。
jdbcCompliantTruncation=false
所以你的连接字符串看起来像下面的东西。
JDBC：MySQL的：//我-RDS-端点：3306 / my_db_name jdbcCompliantTruncation =假