将大量数据从Netezza复制到Teradata

Question

我们计划将大量数据（250亿行/ 5 TB）从Netezza复制到Teradata。复制此数据的最佳方法是什么？

由于

Answer 1

使用外部表在Netezza中构建平面文件。

然后使用Teradata MultiLoad或Teradata FastLoad加载文件。

Answer 2

Sneakernet。认真。将数据下载到microSD，USB密钥，DVD等等。运送它＆amp;重装。它比通过互联网传输更快。

有一句陈旧的“Never underestimate the bandwidth of a station wagon full of 9 track tapes”。有一个更新that computes the bandwidth of a single Boeing 747 full of Blu-Ray disks 令人印象深刻。

Answer 3

您可以使用Python或Perl编写脚本并并行运行load。 速度仅受网络带宽和Teradata插入的限制。

Answer 4

从Netezza到Teradata： 1）从Netezza导出数据： 使用nzodbcsql连接到Netezza，它比nzsql更快。

调用NZODBC nzodbcsql -host nzservername -port 5480 -d NZDATABASE -u user -pw password -f / NZ_EXPORT_LOACATION / NZ_EXPORT_SCRIPT

（ - f是你要拨打的NZ_EXPORT_SCRIPT）

脚本应该如下所示： CREATE EXTERNAL TABLE'/NZ_EXPORT_DIR/DATAFILE.csv'使用（remotesource'ODBC'DELIMITER'，'NullValue'' escapechar'\'ctrlchars'yes'crinstring'yes'）AS SELECT * FROM NZDATABASE.TABLE;

如果你有一个大的事实表，你可以使用“where（（1＆lt; = datasliceid）AND（datasliceid＆lt; = 31））;”在您在脚本中选择之后，您需要输入最多92个数据，或者您的盒子上有多少数据。

2）将数据快速加载到Teradata。

我最初回答了错误的问题：但是值得一提的是你如何将巨大的数据从Teradata复制到Greenplum：

快速从Teradata导出数据，您可能需要在快速导出的数据上运行SED以删除一些垃圾字符。如果你想要一个较小的文件，SCP / FTP将数据传输到GreenPlum ETL头节点（GZIP --fast）。创建您的YAML并GPLoad数据。首先从一小组数据开始。

如果您想从Netezza转到Greenplum，请使用相同的NZODBC导出到平面文件，然后使用GPLOAD加载NZODBC导出的平面文件的平面文件。