运行多个Hive / Map减少作业-Killing TempletonController作业

时间:2018-08-27 06:38:32

标签: apache-spark hive mapreduce

我检查了群集状态,并发现纱线中有60个待处理或正在进行的映射/减少作业。我杀死了纱线中的所有TempletonController作业,所有未完成的作业都迅速成功完成。我知道TempletonController是执行内部Map / Reduce作业的父进程,那么为什么不杀死它们并不会使其他作业失败呢?

CREATE DATABASE IF NOT EXISTS crnw_db;
USE crnw_db;

CREATE EXTERNAL TABLE IF NOT EXISTS crnw (
Time TIMESTAMP,
Sensorvalue DOUBLE
)
PARTITIONED BY (year STRING, month STRING, day STRING, customer STRING, site STRING, machine STRING, sensorname STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/data/storage/';
MSCK REPAIR TABLE crnw;

0 个答案:

没有答案