修改源表时的Spark缓存行为

时间:2016-06-16 09:04:02

标签: apache-spark apache-spark-sql spark-dataframe hivecontext

我有一个hive表(" person"),它在Spark中缓存。

sqlContext.sql("create table person (name string, age int)") //Create a new table
//Add some values to the table
...
...
//Cache the table in Spark
sqlContext.cacheTable("person") 
sqlContext.isCached("person") //Returns true
sqlContext.sql("insert into table person values ("Foo", 25)") // Insert some other value in the table

//Check caching status again
sqlContext.isCached("person") //Returns true

sqlContext是 HiveContext

是否会缓存 cacheTable(" person")语句后插入的条目? 换句话说,(" Foo",25)条目是否在Spark中缓存?

如果没有,我如何只缓存稍后插入的条目? 我不想先解除缓存,然后再次缓存整个表格。

0 个答案:

没有答案