如何将数据上传到Amazon Redshift

时间:2018-03-16 11:12:48

标签: python amazon-web-services amazon-redshift

我想自动将数据上传到Redshift。

我知道如何访问redshift并提取数据。但我不知道如何将数据加载到表格中。

我听说你需要一个提交功能。我想知道如何提交或模块的名称(如pycopg2)。

1 个答案:

答案 0 :(得分:1)

将数据加载到Amazon Redshift的推荐方法是将数据放入Amazon S3存储桶,然后使用COPY命令从S3加载数据。这种方法非常有效,并且利用了整个集群的并行处理能力。

建议 NOT 对大量数据使用INSERT命令(但几行可以。)

因此,您的自动化步骤是:

  • 将数据存储在S3存储桶中
  • 向Redshift群集发出COPY命令(通过SQL,因此可以使用psycopg2)