我正在尝试将所有文档从我的大型couchdb数据库中转移出来,并且在启动后不久出现严重减速。用于获取文档的请求是:
url = 'http://<ip>:5984/marketwatch_weekly/_all_docs?include_docs=true&limit=4000&skip=%s' % skip
减速打印出现在下方。最右边的列是请求完成的时间(以秒为单位)。该旁边的列是跳过量。
getting 2018-03-22 20:53:31.523599 16833 364000 89.11844325065613
getting 2018-03-22 20:55:02.698881 17478 368000 89.88783812522888
getting 2018-03-22 20:56:33.738854 19864 372000 90.0836386680603
getting 2018-03-22 20:57:56.869204 21151 376000 82.24904656410217
getting 2018-03-22 20:59:09.616417 23135 380000 72.10899209976196
getting 2018-03-22 21:00:18.940941 24875 384000 68.40224647521973
getting 2018-03-22 21:01:41.423078 25589 388000 81.92294359207153
getting 2018-03-22 21:11:47.979055 6395 392000 605.9177582263947
getting 2018-03-22 21:31:37.420515 1425 396000 1188.589150428772
getting 2018-03-22 21:46:11.717596 0 400000 873.0646567344666
getting 2018-03-22 22:02:38.413917 0 404000 985.686975479126
getting 2018-03-22 22:20:19.832703 0 408000 1060.2585520744324
getting 2018-03-22 22:39:29.712637 0 412000 1148.8915960788727
getting 2018-03-22 22:59:27.880014 0 416000 1197.4601407051086
getting 2018-03-22 23:21:09.851654 0 420000 1300.9372861385345
getting 2018-03-22 23:45:07.953314 0 424000 1436.5531301498413
想知道可能导致此问题的原因以及任何纠正此问题的提示?我应该将include_docs设置为false并请求每个doc我的_id吗?
我正在使用自己的数据传输脚本,因为我也在更改数据库的模式,因此我无法真正使用任何类型的复制工具。
谢谢!
答案 0 :(得分:0)
couchdb压缩似乎已经成功了
答案 1 :(得分:0)
我遇到此问题的一个原因是在设计文档中使用validate_doc_update
。只要将具有验证功能的设计文档添加到目标数据库,每个文档都将通过此函数传递,这会大大减慢复制速度。