Question

我正在运行的查询是：

 hadoop com.teradata.hadoop.tool.TeradataExportTool  -url     
 jdbc:teradata://tdx/TMODE=ANSI,CHARSET=UTF8,database=db  -username  
 xxx -password xxx -jobtype hcat -sourcetable customers -
 sourcedatabase xxx -nummappers 1 -targettable customers

在运行作业时，我遇到了这个例外：

com.teradata.connector.common.exception.ConnectorException：不支持DATE字段数据类型在com.teradata.connector.hive.utils.HiveSchemaUtils.lookupHiveDataTypeByName（HiveSchemaUtils.java:475）在com.teradata.connector.hcat.utils.HCatSchemaUtils.getRecordSchema（HCatSchemaUtils.java:396）在com.teradata.connector.hcat.processor.HCatInputProcessor.inputPreProcessor（HCatInputProcessor.java:89）在com.teradata.connector.common.tool.ConnectorJobRunner.runJob（ConnectorJobRunner.java:116）在com.teradata.connector.common.tool.ConnectorExportTool.run（ConnectorExportTool.java:62）在org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:70）在org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:84）在com.teradata.hadoop.tool.TeradataExportTool.main（TeradataExportTool.java:29）有什么办法可以解决这个问题吗？配置单元表的crate table语句为：

CREATE EXTERNAL TABLE `customers`(                                                  
`row_id` string,                                                                         
`source_start_date` date,                                                                
`source_start_timestamp` timestamp,                                                      
`target_start_timestamp` timestamp,                                                      
`target_start_date` date,                                                                
`source_end_date` date,                                                                  
`source_end_timestamp` timestamp,                                                        
`target_end_date` date,                                                                  
`target_end_timestamp` timestamp,                                                        
`active` string,                                                                         
`is_deleted` string,                                                                     
`status_flag` string,                                                                    
`first_name` string,                                                                         
`last_name` string,                                                                          
`city` string,                                                                                  
)                                                                         
PARTITIONED BY (                                                                               
   `join_dt` date)                                                                           
ROW FORMAT SERDE                                                                               
   'org.apache.hadoop.hive.ql.io.orc.OrcSerde'                                                  
STORED AS INPUTFORMAT                                                                          
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'                                            
OUTPUTFORMAT                                                                                   
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'                                           
LOCATION                                                                                       
   'xxx'   
TBLPROPERTIES (                                                                                
 'transient_lastDdlTime'='1461674429')

任何指针都表示赞赏。

Answer 1

我没有办法让日期工作，但我找到了一个解决方法。我创建了一个临时表，其中日期列已转换为String。例如，您创建了一个表格，如：

Create table person ( person_id int, joining_date date);

您可以在此表中创建临时配置表，如：

Create table temp_person as select person_id, cast(joining_date as string) from person;

在目标teradata端，您可以将数据类型指定为Date：

Create multiset table person ( person_id int, joining_date date);

现在你可以运行这样的工作：

hadoop com.teradata.hadoop.tool.TeradataExportTool  -url     
jdbc:teradata://tdx/TMODE=ANSI,CHARSET=UTF8,database=db  -username  
xxx -password xxx -jobtype hcat -sourcetable temp_person -
sourcedatabase xxx -nummappers 1 -targettable person

这很好用。但由于复制表的开销，性能会稍微降低。

使用TDCH进行hcat作业类型的异常。不支持日期列

1 个答案: