数据从teradata迁移到bigquery

Question

我的要求是将数据从teradata数据库迁移到Google bigquery数据库，其中表结构和架构保持不变。后来，使用bigquery数据库，我想生成报告。

有人可以建议我如何实现这个目标吗？

Answer 1

Google现在提供了免费数据传输服务，您可以使用该服务将数据从Teradata传输到Bigquery。登录GCP console后，您应该在左侧看到转账服务的链接。此服务分为两部分，

1. 您将必须在Teradata服务器中安装代理
2. 您可以从网络用户界面控制/启动传输

要转换表DDL，查看DDL并将SQL从Teradata转换为Bigquery，可以尝试免费的Roboquery chrome extension

Answer 2

我认为您应该尝试使用TDCH将数据导出为Avro格式的Google云端存储。 TDCH在hadoop之上运行并且并行导出数据。然后，您可以将avro文件中的数据导入BigQuery。

Answer 3

我是一个在白皮书中解决此问题的团队的成员。

  

白皮书记录了将数据从Teradata数据库迁移到Google BigQuery的过程。它突出显示了在计划这种性质的迁移时要考虑的几个关键领域，包括将Apache NiFi作为首选数据流技术的原理，迁移前的注意事项，迁移阶段的详细信息以及迁移后的最佳实践。

链接：How To Migrate From Teradata To Google BigQuery

Answer 4

我认为您也可以尝试使用cloud composer（apache airflow）或在实例中安装apache airflow。 如果您可以从Teradata DB中打开端口，则可以从那里运行“ gsutil”命令，并通过气流/组合程序对其进行调度，以每天运行作业。它的速度很快，您可以利用气流的调度功能。