Spark Couchbase连接器DCP

时间:2016-03-21 17:16:42

标签: apache-spark couchbase-lite couchbase-sync-gateway

我想知道Spark Couchbase官方连接器中基于DCP的流媒体是否稳定?这些文件表明它们尚未准备好用于生产。我们有Java的任何例子吗?

此外,如果有人能够解释我试图解决的用例以及火花连接器是否有意义:

我们每天都会获得有关从couchbase lite db到同步网关的一些徽章的更新。现在,在10天的窗口内,如果有人获得5个或更多徽章,那么我们需要推出祝贺徽章。这需要每隔10天完成一次。

所以,我计划的是使用DCP,我每天检查更改,运行一个作业,然后将其推送到同步网关。如果在10天的时间间隔内,已经获得了5个或更多徽章,那么我将其推送到同步网关..

这是正确的方法吗?还是有更好的方法来做到这一点?

可以使用的另一件事是:

http://developer.couchbase.com/documentation/mobile/1.2/develop/guides/sync-gateway/server-integration/changes-worker/index.html ..

那么哪种方法会更好?

1 个答案:

答案 0 :(得分:0)

支持来自Spark Connector的DCP流,因为该产品是GA,并且该功能未标记为实验性。如果不支持该功能,Couchbase会尽早引入功能并通过注释标记它们。

也就是说,我知道在撰写本文时,JVM核心DCP实现存在一些已知问题,预计将在未来几周内修复,如果不是更快的话。我确切知道的那个是在这里跟踪的:https://issues.couchbase.com/browse/JVMCBC-312

添加了新的测试方案,Couchbase正在努力确保它在下一个版本发布之前在不同的故障/重新平衡模式下通过这些测试。