SAP Spark Controller不缓存数据

时间:2017-06-14 04:10:16

标签: sap hana

我已经使用Spark 1.6.2在HDP 2.4.3上运行SparkController 2.0.0

在配置中,我配置了以下参数:

sap.hana.es.enable.cache=true
sap.hana.es.cache.max.capacity=500
sap.hana.hadoop.datastore=Hive

我已将HANA 1.00.122连接到该Spark Controller,在indexserver.ini中将enable_remote_cache参数设置为true,并将一个公开的Hive表导入为HANA中的虚拟表。

然后我针对该虚拟表运行了select语句,但每次我看到没有创建缓存时(Spark UI的“存储”选项卡中没有任何内容),也没有命中(查询运行时不会丢失,我看到这项工作每次都经历相同的阶段。)

使用提示“with hint(USE_REMOTE_CACHE)”也无济于事。

我忘了做其他任何设置吗?

2 个答案:

答案 0 :(得分:0)

为了从HANA启用对Hive的联合查询的远程缓存,您还必须设置HANA参数enable_remote_cache = true

有关详细信息,请参阅本页底部:

https://help.sap.com/viewer/6437091bdb1145d9be06aeec79f06363/2.0.1.0/en-US/1fcb5331b54e4aae82c0340a8a9231b4.html

答案 1 :(得分:0)

对于SAP,用于缓存工作的HANA版本应为2.0 +。