Question

无法将HDFS内容导出到oracle DB。

甲骨文：

    create table DB1.T1 (
        id1 number,
        id2 number
    );

蜂巢：

    create table DB1.T1 (
        id1 int,
        id2 int
    );
    insert into table values(0,0);

Sqoop：

$ sqoop export \
--connect driver:@ip:port:DB \
--username=DB --password  'bad_practice_pwd' \
-m 1 \
--export-dir "/user/hive/warehouse/DB1.db/T1/file" \
--table DB1.T1
--direct

错误：

18/04/16 17:11:00 INFO mapreduce.Job：作业job_1520336080249_0240因状态失败而失败，原因是：任务失败任务_1520336080249_0240_m_000000   任务失败，作业失败。 failedMaps：1次失败减少：0

18/04/16 17:11:00 INFO mapreduce.Job：专柜：8           工作柜台                   失败的地图任务= 1                   启动地图任务= 1                   机架局部映射任务= 1                   占用时隙中所有映射所花费的总时间（ms）= 4872                   所有花费的总时间减少了占用的时隙（ms）= 0                   所有地图任务花费的总时间（ms）= 4872                   所有地图任务占用的总核心毫秒数= 4872                   所有地图任务占用的总兆字节数= 4988928 18/04/16 17:11:00 WARN mapreduce.Counters：Group   FileSystemCounters已弃用。使用   org.apache.hadoop.mapreduce.FileSystemCounter而不是18/04/16   17:11:00 INFO mapreduce.ExportJobBase：在16.9653中传输0个字节   秒（0字节/秒）18/04/16 17:11:00 WARN mapreduce.Counters：Group   org.apache.hadoop.mapred.Task $ Counter已弃用。使用   org.apache.hadoop.mapreduce.TaskCounter而不是18/04/16 17:11:00 INFO   mapreduce.ExportJobBase：导出0条记录。 18/04/16 17:11:00错误   tool.ExportTool：导出期间出错：导出作业失败！           在org.apache.sqoop.mapreduce.ExportJobBase.runExport（ExportJobBase.java:439）           在org.apache.sqoop.manager.OracleManager.exportTable（OracleManager.java:465）           在org.apache.sqoop.tool.ExportTool.exportTable（ExportTool.java:80）           在org.apache.sqoop.tool.ExportTool.run（ExportTool.java:99）           在org.apache.sqoop.Sqoop.run（Sqoop.java:147）           在org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:70）           在org.apache.sqoop.Sqoop.runSqoop（Sqoop.java:183）           在org.apache.sqoop.Sqoop.runTool（Sqoop.java:234）           在org.apache.sqoop.Sqoop.runTool（Sqoop.java:243）           在org.apache.sqoop.Sqoop.main（Sqoop.java:252）

Answer 1

已将Hive表定义为：

    create table DB1.T1 (
    id1 int,
    id2 int
    )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n;

出口已经完成了。

18/04/18 13:09:11 INFO mapreduce.Job：专柜：30 文件系统计数器 FILE：读取的字节数= 0 FILE：写入的字节数= 175430 FILE：读取操作数= 0 FILE：大读取操作数= 0 FILE：写操作次数= 0 HDFS：读取的字节数= 189 HDFS：写入的字节数= 0 HDFS：读取操作数= 4 HDFS：大读取操作数= 0 HDFS：写操作次数= 0 工作柜台启动地图任务= 1 机架局部映射任务= 1 占用时隙中所有映射所花费的总时间（ms）= 2747 所有花费的总时间减少了占用的时隙（ms）= 0 所有地图任务花费的总时间（ms）= 2747 所有地图任务占用的总核心毫秒数= 2747 所有映射任务占用的总兆字节数= 2812928 Map-Reduce框架映射输入记录= 1 映射输出记录= 1 输入拆分字节= 182 溢出记录= 0 失败的Shuffles = 0 合并的地图输出= 0 GC时间已过（ms）= 47 花费的CPU时间（毫秒）= 1620 物理内存（字节）snapshot = 359587840 虚拟内存（字节）snapshot = 2823344128 总提交堆使用量（字节）= 619184128 文件输入格式计数器字节读取= 0 文件输出格式计数器写入的字节数= 0 18/04/18 13:09:11 INFO mapreduce.ExportJobBase：在13.8196秒内传输189个字节（13.6762字节/秒） 18/04/18 13:09:11 INFO mapreduce.ExportJobBase：已导出1条记录。

Sqoop出口工作失败

1 个答案: