使用Scala在AWS Glue中解决MySQL版的dateformat

时间:2018-02-14 12:01:22

标签: mysql scala apache-spark aws-glue

我正在尝试创建一个简单的AWS Glue脚本,该脚本可以将数据从一个MySQL数据库加载到另一个MySQL数据库。 我一开始就陷入困境,因为我的源数据库配置为使用" 0000-00-00 00:00:00"作为timestamp列的默认值。

我尝试过使用resolveChoice将列转换为字符串,我也尝试过(测试时)只选择不是时间戳的列,但我总是得到同样的错误:

  

java.sql.SQLException:Value' 0000-00-00'不能表示为java.sql.Timestamp

我无法修改数据库以用NULL替换这些值,此时我无法修改Glue首选项的任何部分(在jdbc字符串中包含zeroDateTimeBehaviour)

1 个答案:

答案 0 :(得分:0)

升级到MySQL5.7或更高版本将解决此问题。

Changes in MySQL 5.7