在项目中使用spark读取hdfs文件,将该文件缓存在内存中,然后关闭spark会话。
val sc = SparkSession.builder().master("local[1]").appName("xxx")
.config("fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem")
.config("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem")
.config("spark.ui.enabled","false")
.getOrCreate()
val a = NaiveBayesModel.load(sc.sparkContext,bayesPath)
sc.close()
然后在主函数Thread.sleep(1000000000L)
中使用jstack pid检查线程状态。
org.apache.hadoop.fs.FileSystem$Statistics$StatisticsDataReferenceCleaner
和
org.apache.hadoop.hdfs.PeerCache@98952b8
为TIMED_WAITING状态。 如何停止守护程序线程。 在FileSystem中,StatisticsDataReferenceCleaner是私有的。