Question

我使用了spark SQL connect hive，基本查询没问题，但是无法创建索引，会不会激发SQL支持索引？

DROP TABLE test_tabe;
CREATE  TABLE test_tabe
(
....
,area   STRING
...
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS RCFILE
--STORED AS SEQUENCEFILE
;
CREATE INDEX idx_compact_index ON TABLE test_tabe (area) AS 'COMPACT' WITH DEFERRED REBUILD

#!!!!Execute always,no error,spark web page no corresponding job !!!!
ALTER INDEX idx_compact_index ON test_tabe REBUILD;

insert overwrite table test.test_tabe select * from test.new_mkt_browse_label_10m

感谢。

Answer 1

spark中不支持Hive索引。它们不太重要，因为内存计算中存在火花。你有没有机会在索引的配置单元查询与spark中的类似查询之间进行比较？您可以查看有关未实施索引的更多信息here

Spark SQL（版本1.1.0）是否支持配置单元索引？

1 个答案: