HDFS音量为100%时回收表损坏

时间:2019-04-08 05:48:40

标签: apache-spark hadoop hive hdfs mapr

我正在使用hadoop版本 Hadoop 2.7.0-mapr-1506 。 当数据量为100%时,我们的作业仍试图将覆盖数据插入到几个配置单元表中,并且它们已损坏,并且在访问时给出以下异常,

at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)  
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)  
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)  
Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: maprfs:/hive/bigdata.db/cadfp_wmt_table  
at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:289)  
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)  
at org.apache.hadoop.mapred.SequenceFileInputFormat.listStatus(SequenceFileInputFormat.java:45)  

现在我们已经释放了数据量中的空间,并希望回收下表中的数据,我们如何实现它

hadoop fs -ls /hive/bigdata.db/ | grep tmp~  
drwxr-xr-x   - bigdata bigdata         16 2019-04-05 07:38 /hive/bigdata.db/pc_bt_clean_table.tmp~!@  
drwxr-xr-x   - bigdata bigdata        209 2019-04-05 07:51 /hive/bigdata.db/pc_bt_table.tmp~!@  
drwxr-xr-x   - bigdata bigdata       1081 2019-04-05 07:38 /hive/bigdata.db/cadfp_wmt_table.tmp~!@ 

此处尝试过How to fix corrupt HDFS FIles中提到的步骤,但是hdfs命令对我不起作用

0 个答案:

没有答案