从hdfs

时间:2017-03-29 16:16:14

标签: hdfs

我的工作场所使用数据服务器和Hadoop(Hortonworks)。

我正在尝试创建一个简单的导入作业。例如,将csv文件从hdfs导入到datameer。但它显示状态为错误。我不确定错误是什么。但是,我可以在datameer中预览数据,但是一旦我保存了作业,它就会显示错误状态。

以下是我从下载的日志文件中获得的错误:

  

INFO [2017-03-29 10:03:16.965] [qtp455888635-84676420](JobTraceCollector.java:120) - 包括单一历史记录工件   JOB_DEFINITION INFO [2017-03-29 10:03:16.968] [qtp455888635-84676420]   (JobTraceCollector.java:126) - 没有JOB_DEFINITION类型的工件   存在! INFO [2017-03-29 10:03:16.968] [qtp455888635-84676420]   (JobTraceCollector.java:120) - 包括单个历史记录工件   JOB_LOG INFO [2017-03-29 10:03:16.970] [qtp455888635-84676420]   (JobTraceCollector.java:126) - 没有JOB_LOG类型的工件存在!   INFO [2017-03-29 10:03:16.970] [qtp455888635-84676420]   (JobTraceCollector.java:120) - 包括单个历史记录工件   JOB_PLAN_ORIGINAL INFO [2017-03-29 10:03:16.972]   [qtp455888635-84676420](JobTraceCollector.java:126) - 没有任何文物   类型JOB_PLAN_ORIGINAL确实存在! INFO [2017-03-29 10:03:16.972]   [qtp455888635-84676420](JobTraceCollector.java:120) - 包括   单历史工件JOB_PLAN_COMPILED INFO [2017-03-29   10:03:16.978] [qtp455888635-84676420](JobTraceCollector.java:126) -   不存在JOB_PLAN_COMPILED类型的工件!信息[2017-03-29   10:03:16.978] [qtp455888635-84676420](JobTraceCollector.java:120) -   包括单历史工件JOB_CONF INFO [2017-03-29   10:03:16.980] [qtp455888635-84676420](JobTraceCollector.java:126) -   不存在JOB_CONF类型的工件!信息[2017-03-29   10:03:16.981] [qtp455888635-84676420](JobTraceCollector.java:120) -   包括单个历史记录工件JOB_EXECUTION_TRACE INFO   [2017-03-29 10:03:16.982] [qtp455888635-84676420]   (JobTraceCollector.java:126) - 没有类型的工件   JOB_EXECUTION_TRACE确实存在! INFO [2017-03-29 10:03:16.982]   [qtp455888635-84676420](JobTraceCollector.java:120) - 包括   单历史神器CLUSTER_JOBS INFO [2017-03-29 10:03:16.984]   [qtp455888635-84676420](JobTraceCollector.java:126) - 没有任何文物   类型CLUSTER_JOBS确实存在! INFO [2017-03-29 10:03:16.984]   [qtp455888635-84676420](JobTraceCollector.java:134) - 包括多个   历史神器ERROR_LOG INFO [2017-03-29 10:03:16.986]   [qtp455888635-84676420](JobTraceCollector.java:139) - 没有任何文物   类型ERROR_LOG确实存在! INFO [2017-03-29 10:03:16.986]   [qtp455888635-84676420](JobTraceCollector.java:134) - 包括多个   历史神器TASK_LOG INFO [2017-03-29 10:03:16.988]   [qtp455888635-84676420](JobTraceCollector.java:139) - 没有任何文物   类型TASK_LOG确实存在! INFO [2017-03-29 10:03:16.988]   [qtp455888635-84676420](JobTraceCollector.java:134) - 包括多个   历史神器JOB_INPUT_DEFINITION INFO [2017-03-29 10:03:16.991]   [qtp455888635-84676420](JobTraceCollector.java:139) - 没有任何文物   类型JOB_INPUT_DEFINITION确实存在! INFO [2017-03-29 10:03:16.991]   [qtp455888635-84676420](JobTraceCollector.java:134) - 包括多个   历史神器JOB_CONF_CLUSTER INFO [2017-03-29 10:03:16.994]   [qtp455888635-84676420](JobTraceCollector.java:139) - 没有任何文物   类型JOB_CONF_CLUSTER确实存在!

1 个答案:

答案 0 :(得分:0)

此处提供的日志(摘录)只是说Collect a Full Job Trace无法使用。

如果您处于设置和测试阶段,您可以在Datameer实例上打开一个shell并通过

实时查看日志
tail -F logs/conductor.log logs/$(date +"%Y_%m_%d").stderrout.log

并在提交作业期间。它可能会提供更好的洞察力。