我已经计划了多个TDCH作业,以将数据从Teradata导入到同时运行的Hive。工作正常,但是,有时我在某些工作中收到以下错误,重试后成功完成。
错误: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): 无法为以下文件创建文件[/user.../part-m-00012] 客户端[192.168.x.y]的[DFSClient_attempt _....],因为此文件 已由[192.168.x.z]上的[DFSClient_attempt _...]创建
我怀疑它失败,因为它为两个作业的登台创建了相同的临时目录。我可以在TDCH中设置任何参数来重命名临时目录。