标签： caching apache-spark apache-spark-sql lru
当我运行sql查询时，spark-sql将使用LRU缓存。 为什么LRU缓存的使用并不反映在spark的WebUI中？根据响应时间我觉得我的查询被缓存了，但是＆＃34; Memory Used＆＃34;说＆＃34; 0.0 B / 707.0 MB＆＃34; Spark版本是1.3.1
答案 0 :(得分：0)
Spark确实显示了缓存状态 它可通过"Storage"标签上的Spark应用程序用户界面获取 它将显示存储级别（缓存类型），缓存分区数量，内存大小和数据。磁盘上的大小。
您没有指定如何使用Spark缓存机制 必须明确启用Spark缓存 您可以检查here如何启用/禁用Spark表的缓存
您还可以使用以下方法为RDD / DataFrams启用缓存：
rdd.cache() / df.cache() rdd.persist(StorageLevel newLevel) / df.persist(StorageLevel newLevel)
