Teradata快速导出(或TPT)与Sqoop导出

时间:2018-02-12 08:38:06

标签: hadoop teradata sqoop fastexport

编辑:需要确定哪一个更适合从Teradata导出大量数据 - Sqoop,TPT或fexp

OP:我已经知道teradata的快速导出和TPT不能用于将数据直接导出到Hadoop。我可以将数据带到当地环境并将其平行移动到hadoop。

我想知道哪种工具以最有效的方式从Teradata中提取数据。

我必须提取具有巨大数据量的数据集(大约250亿条记录,大小为15 TB)。 当然,Teradata中的数据分区很好,我将根据分区和唯一PI分割我的提取策略。

我无法找到足够的内容来提供Teradata实用程序和Sqoop之间的直接比较。

哪个工具对Teradata环境中当前正在运行的作业影响最小,并以最优化的方式提取数据。

1 个答案:

答案 0 :(得分:1)

当然,Teradata的FastExport不能直接导出到Hadoop,它是一种旧的遗留工具,不再增强。

任何新的开发都应该使用TPT来完成,例如

Using the DataConnector Operator to Write Files and Tables in Hadoop

Common Data Movement Jobs