5分钟后,AWS DMS(数据迁移服务)表满载超时

时间:2019-01-23 19:44:29

标签: amazon-web-services database-migration amazon-rds-aurora

我正在尝试使用DMS将MySQL数据库从EC2(200gb)迁移到新的RDS Aurora实例。问题在于并非所有行都已迁移。

每个表只有5分钟才能完全加载该表,如果5分钟后表还没有完成,DMS将停止加载该表并进入“表已完成”状态。

我在UNLOAD SOURCE TECHNICAL_DEBUG日志文件中找到了此文件:

输入mysql_unload_init_table,卸载超时:300 (mysql_endpoint_unload.c:131)

有人知道如何增加吗?我认为曾经有可能调用aws dms Modify-endpoint api并传递MySQLSettings,但这不再可用。现在如何实现?

我有一个要迁移的2000万条记录的表,这显然需要5分钟以上的时间。

感谢您的帮助!

1 个答案:

答案 0 :(得分:1)

我在其他渠道获得答案。将来可能会对其他人有帮助!

  

我们在执行MySQL RDS时遇到相同的问题-> MySQL Aurora   使用DMS进行迁移。任何花费超过5分钟的桌子都会   停止迁移,声称已完成,然后验证失败。添加   以下源连接属性为我们解决了该问题(设置   将UnloadTimeout设置为与您相关的值,我正在使用1天作为测试):

     

ResumeFetchForXRows = 0; UnloadTimeout = 86400

     

此外,AWS支持人员还向我发送了以下内容:

     

“在MySQL Source,MySQL上进行完全加载时存在一个已知问题   提取下一个时,服务器将返回没有更多数据   记录,即使表中仍有更多记录。解决   问题,我建议您将“ Resumefetchforxrows = 0”添加到   源端点的连接属性。这应该修复您的   问题。为此,请在DMS控制台中编辑源端点并添加   属性。”

     

我发现 UnloadTimeout参数对我们影响最大