Question

嗨，我正在使用以下脚本将数据从mysql迁移到redshift。

mysql_table_name = 'clabDevelopment.KPI_kpireport'
mysql_cur = mysql_conn.cursor()
mysql_cur.execute('select * from %s where Date = "2018-01-01";' % mysql_table_name  )
description = mysql_cur.description
rows = mysql_cur.fetchall()

# Insert data into Redshift
redshift_table_name = 'kpi_kpireport'
redshift_cur = redshift_conn.cursor()
insert_template = 'insert into %s (%s) values %s;'
column_names = ', '.join([x[0] for x in description])
values = ', '.join(['(' + ','.join(map(str, x)) + ')' for x in rows])

redshift_cur.execute(insert_template % (redshift_table_name, column_names, values))

我遇到的邮件问题是当值空白时：

values (241325,2018-01-01,None,,CHG,USA,N.

像“无”和“ CHG”之间有“”，它会导致程序失败。

这是错误：

Traceback (most recent call last):
  File "C:\Users\trackstarz\migration.py", line 20, in <module>
    redshift_cur.execute(insert_template % (redshift_table_name, column_names, values))
psycopg2.ProgrammingError: syntax error at or near ","
LINE 1: ...re_Costs, FBA_Fee) values (241325,2018-01-01,None,,CHG,USA,N...
                                                             ^

[Finished in 2.0s]

Answer 1

将数据加载到Amazon Redshift的首选方法是通过COPY命令。这样就可以在所有节点上并行加载批量数据。

建议不使用单独的INSERT语句来加载数据。（如果从另一个表中选择批量数据，则INSERT很好。）

因此，我建议您修改程序以输出CSV文件（或其他受支持的格式），然后使用COPY命令加载它。这样一来，调试起来也将变得更加干净和容易。

使用Python进行redshift mysql迁移

1 个答案: