Question

我一直在尝试使用Sqoop实用程序将数据从MySQL数据库导入Hive。我创建了表，并且我将fetch-size设置为低至10.每次运行命令时，我都会收到Java堆大小错误，并且在4次尝试后该作业将被终止。我怎样才能解决这个问题。

我的sqoop命令如下：

sqoop import --connect jdbc:mysql://my_local_ip/mydatabase --fetch-size 10  --username root -P --table table_name --hive-import --compression-codec=snappy --as-parquetfile  -m 1

我得到了：

16/08/29 07:06:24 INFO mapreduce.Job: The url to track the job: http://quickstart.cloudera:8088/proxy/application_1472465929944_0013/
16/08/29 07:06:24 INFO mapreduce.Job: Running job: job_1472465929944_0013
16/08/29 07:06:47 INFO mapreduce.Job: Job job_1472465929944_0013 running in uber mode : false
16/08/29 07:06:47 INFO mapreduce.Job:  map 0% reduce 0%
16/08/29 07:07:16 INFO mapreduce.Job: Task Id : attempt_1472465929944_0013_m_000000_0, Status : FAILED
Error: Java heap space
16/08/29 07:07:37 INFO mapreduce.Job: Task Id : attempt_1472465929944_0013_m_000000_1, Status : FAILED
Error: Java heap space
16/08/29 07:07:59 INFO mapreduce.Job: Task Id : attempt_1472465929944_0013_m_000000_2, Status : FAILED
Error: Java heap space
16/08/29 07:08:21 INFO mapreduce.Job:  map 100% reduce 0%
16/08/29 07:08:23 INFO mapreduce.Job: Job job_1472465929944_0013 failed with state FAILED due to: Task failed task_1472465929944_0013_m_000000

Answer 1

尝试

sqoop import  -Dmapreduce.map.memory.mb=1024 -Dmapreduce.map.java.opts=-Xmx7200m -Dmapreduce.task.io.sort.mb=2400 --connect jdbc:mysql://local.ip/database_name --username root -P --hive-import --table table_name --as-parquetfile --warehouse-dir=/home/cloudera/hadoop --split-by 'id' -m 100

最初，我一直使用10个映射器处理1000万条记录，每个块的大小为100万条记录。这导致了错误，当我解除100个映射作业时，它已成功处理数据。我唯一注意到的是完成工作所需的时间。运行所有100个映射器作业花了将近1小时。

Sqoop导入中的Java堆大小错误

1 个答案: