如何关闭StatisticsDataReferenceCleaner hadoop-通用文件系统

时间:2019-03-20 15:10:02

标签: java apache-spark hadoop

在项目中使用spark读取hdfs文件,将该文件缓存在内存中,然后关闭spark会话。

    val sc = SparkSession.builder().master("local[1]").appName("xxx")
            .config("fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem")
             .config("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem")
              .config("spark.ui.enabled","false")
              .getOrCreate()
     val a = NaiveBayesModel.load(sc.sparkContext,bayesPath)
     sc.close()

然后在主函数Thread.sleep(1000000000L)中使用jstack pid检查线程状态。

org.apache.hadoop.fs.FileSystem$Statistics$StatisticsDataReferenceCleaner

org.apache.hadoop.hdfs.PeerCache@98952b8

为TIMED_WAITING状态。 如何停止守护程序线程。 在FileSystem中,StatisticsDataReferenceCleaner是私有的。

0 个答案:

没有答案