sqoop导入到hive表错误

时间:2018-04-27 14:28:51

标签: hive sqoop

您好我尝试将as400表插入到hive表中,所以我创建了一个与as400表相同的模式的hive表,但是我添加了一个待处理的列(timestamp) 这是我的蜂巢表:

<mat-toolbar color="primary">
  <mat-toolbar-row>
    <span>MyMaterial</span>
    <span class="example-spacer"></span>
    <button mat-button>About</button>
    <button mat-button>Services</button>
    <button mat-button>Contact</button>
  </mat-toolbar-row>
</mat-toolbar>

我运行这个sqoop命令:

CREATE external TABLE IF NOT EXISTS default.AS400TEST (
One INT,
Two STRING,
..
N   INT             
)
PARTITIONED BY (processedate TIMESTAMP)
STORED AS  TEXTFILE 
location  '/tmp/AS400TEST;

我的问题是地图保持0%超过30分钟而且我杀了这份工作。 我需要改变什么吗?

另一个问题:如何使用sqoop插入列时间戳?

1 个答案:

答案 0 :(得分:1)

您的表可能很大,并且一个映射器(-m 1)无法在合理的时间内完成任务。尝试增加此参数(请参阅documentation中的详细信息)。

要插入时间戳列,请使用--map-column-hive 'timestamp_column_name=TIMESTAMP'