我在尝试从HDFS读取一些作业配置文件时遇到了一个奇怪的错误。我正在尝试从文件中检索作业,然后在循环中读取它们的作业配置XML文件。
摘录:
for(JobStatus status : statuses)
{
JobID jobId = null;
try
{
jobId = status.getJobID(); //TODO check the hash-code/equals implementation of JobID
if(!jobIdsUnderObservation.contains(jobId))
{ //explore jobs if it's new
RunningJob runningJob = jobClient.getJob(jobId);
if(runningJob != null)
{
String jobFile = runningJob.getJobFile();
FileSystem fs = FileSystem.get(conf);
if(fs.exists(new Path(jobFile)))
{
String sessionId = null;
InputStream is = fs.open(new Path(jobFile));
conf.addResource(is);
sessionId = conf.get("hive.session.id"); //this particular line breaks
//from the second file onwards
if(sessionId.equals(this.sessionId))
{
jobIdsUnderObservation.add(jobId);
}
}
}
}
}
catch(IOException ioe)
{
ioe.printStackTrace();
}
int prevStatus = 0;
它读取第一个文件,但它从第二个文件开始。它抛出一个IOException:流关闭。
答案 0 :(得分:1)
有时xml阅读器会在调用close方法时关闭基础流。这不是他们在文档中所说的内容,但它在发行说明中......
要避免此行为,您可以覆盖reader的close方法或将流包装到另一个类中。
我向太阳年前报道过,但“修复风险太大”
http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6539065
(有一些例子)