编辑:需要确定哪一个更适合从Teradata导出大量数据 - Sqoop,TPT或fexp
OP:我已经知道teradata的快速导出和TPT不能用于将数据直接导出到Hadoop。我可以将数据带到当地环境并将其平行移动到hadoop。
我想知道哪种工具以最有效的方式从Teradata中提取数据。
我必须提取具有巨大数据量的数据集(大约250亿条记录,大小为15 TB)。 当然,Teradata中的数据分区很好,我将根据分区和唯一PI分割我的提取策略。
我无法找到足够的内容来提供Teradata实用程序和Sqoop之间的直接比较。
哪个工具对Teradata环境中当前正在运行的作业影响最小,并以最优化的方式提取数据。
答案 0 :(得分:1)
当然,Teradata的FastExport不能直接导出到Hadoop,它是一种旧的遗留工具,不再增强。
任何新的开发都应该使用TPT来完成,例如
Using the DataConnector Operator to Write Files and Tables in Hadoop