将数据加载到Redshift＆amp; BigQery直接来自Hadoop / HDFS（本地/内部群集）

Question

有没有办法将数据加载到Redshift＆amp; BigQery直接来自Hadoop / HDFS（本地/内部群集）。我需要将1TB的数据加载到Redshift＆amp; BigQuery的。所以寻找有效的方法来做到这一点。

由于

Answer 1

您可以直接从Amazon EMR加载，但如果您使用本地 Hadoop群集，那么您必须将数据导出到S3并使用COPY命令加载到从那里红移：

Using a COPY command to load data

Answer 2

您还可以使用支持Hadoop，Redshift，BigQuery，Google云端存储和Amazon S3的ETL工具。

Talend for Big Data是一种支持所有这些不同数据源的ETL解决方案。