Phoenix Secondary Indexes是否特别处理WAL日志?

时间:2016-06-01 05:55:32

标签: solr hbase phoenix secondary-indexes

我们正在为我们的hbase集群使用phoenix和hbase-indexer,我们发现了一个关于凤凰二级索引的奇怪现象:

我们将来自phoenix的两个全局可变索引表(C_PICRECORD_IDX1和C_PICRECORD_IDX2)的数据(使用psql导入csv数据)放入一个表(C_PICRECORD)中,并使hbase-indexer将数据复制到solr中。数据导入完成后,我们发现solr文件numfound与hbase表行数不同。当我们删除索引表,清除数据并再次放入数据时,我们发现solr文件numfound与hbase表行数相同。

最近我们发现solr文件numfound与hbase表行数不同的原因: 1)删除文档会出错,但事实上我们只是用凤凰的两个全局索引表导入数据(psql)!

2)当我们有数据表的二级索引时,才会出现关于solr和hbase之间行计数不一致的奇怪现象。

很长一段时间让我们感到困扰,使用凤凰二级索引时似乎有些不同。

所以,我的问题是:凤凰二级索引是否特别处理WAL日志?

我们的环境:

cdh5.4.2 HBase的-1.0.0-cdh5.4.2 phonenix-4.6 HBase的-的solr-1.5-cdh5.4.2(HBase的索引器)

cluster:3个hbase regionserver和3个hbase-indexer

[提示]

hbase-indexer根据hbase复制将数据放入solr。它将捕获WAL日志并将感兴趣的数据放入solr。 hbase-indexer github:https://github.com/NGDATA/hbase-indexer

1 个答案:

答案 0 :(得分:2)

我们最近解决了这个问题。请参阅另一个stackoverflow问题:

hbase-indexer solr numFound different from hbase table rows size

关于 Phoenix Secondary Indexes是否专门处理WAL日志的问题?,请参阅:

http://www.slideshare.net/jesse_yates/phoenix-secondary-indexing-la-hug-sept-9th-2013

了解有关凤凰二级指数的详细信息。