我正在尝试使用HiveContext从hive外部表中获取数据并将其存储在文本文件中。 hive外部表的数据路径是hdfs：/ data / abc / job_log。我的代码间歇性地失败并出现以下错误。
警告TaskSetManager：阶段0.0中失去的任务1524.0（TID 1524，）：java.io.FileNotFoundException：文件不存在：/ data / abc / job_log / abc_job_20171027001515。 COPYING 在org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf（INodeFile.java:71） at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf（INodeFile.java:61） 在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocationsInt（FSNamesystem.java:1828） at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations（FSNamesystem.java:1799） at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations（FSNamesystem.java:1712） at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations（NameNodeRpcServer.java:672） at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations（ClientNamenodeProtocolServerSideTranslatorPB.java:373） at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java） 在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:616）
我正在使用Spark 1.6.1，Scala 2.10.5和HDP 2.4.2集群。非常感谢。