如何合并东京内阁哈希表db(.tch文件)(没有重复键)

时间:2010-04-18 22:12:34

标签: nosql tokyo-cabinet tokyo-tyrant

这可能吗?我无法在任何地方找到答案。

基本上我正在寻找一个我有多个工作人员(盒子)的设置,这些设备必须全部将数据存储到Tokyo Cabinet index / db中(我使用Tokyto Tyrant而不是memcached协议abtw。不重要但仍然)

基本上,我尝试将数据直接推送到另一个运行东京暴君的盒子,但TT一段时间后无法处理。插入变得非常慢,工作人员闲置在那里想要将数据卸载到TT服务器。 (我尝试了各种各样的方法来提高性能,更多ram,raid-configs,盒子上的多个TT服务器等)但是性能的大幅下降(插入/秒)迟早会出现。

现在,我正在考虑让每个工作人员将自己的数据存储在本地Tokyo Tyrant数据库中并随后合并所有工作人员的数据库(没有重复密钥保存)的选项

任何帮助表示赞赏,(还有其他方法可以分享TT上的负载)

btw:TT的配置:#bnum = 20000000#opts = l#xmsiz = 162000000 我将bnum设置为预期项目的上限:20 mil。

谢谢,Geert-Jan

1 个答案:

答案 0 :(得分:0)

看看kchashmgr。您可以将文件转储到数据文件中,然后将它们加载到使用更大的bnum创建的新kch文件中。