并行运行多个TDCH命令

时间:2018-08-09 10:25:17

标签: hadoop hdfs teradata

我已经计划了多个TDCH作业,以将数据从Teradata导入到同时运行的Hive。工作正常,但是,有时我在某些工作中收到以下错误,重试后成功完成。

  

错误:   org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):   无法为以下文件创建文件[/user.../part-m-00012]   客户端[192.168.x.y]的[DFSClient_attempt _....],因为此文件   已由[192.168.x.z]上的[DFSClient_attempt _...]创建

我怀疑它失败,因为它为两个作业的登台创建了相同的临时目录。我可以在TDCH中设置任何参数来重命名临时目录。

0 个答案:

没有答案