TDCH:无法使用SplitByHash方法

时间:2016-11-30 12:35:54

标签: hadoop hive teradata

我试图通过TDCH从Teradata提取到Hadoop。

我看到一个异常,即使我将--method指定为任何字符串(hash, partition, amp, value),它也会在提取过程中自动获取SplitByPartition值。

我从Teradata中提取的表格是分区的&我直接导入hive表。我尝试提取甚至一个分区,但无法改变自动方法选择。

我可以继续这种方法,但问题是: 在提取期间,TDCH创建一个中间查询以从Teradata表中提取数据。临时存放在舞台表中。然后从此临时阶段表开始传输到Hadoop服务器。创建的此查询是100%倾斜,因此每次由于DB中的低假脱机而导致作业失败。阀芯空间非常高(10 TB)。

思想?

0 个答案:

没有答案