将数据从Marklogic复制到Amazon S3

Question

有没有办法将数据从Marklogic Server复制/移动到Amazon S3？我不希望移动所有数据，但是某些文档与特定集合或其他逻辑有关。我可以做xdmp：save（），这适用于几千个文档，但是我有几百万条记录，这种方法在这种情况下运行得不好，有没有更好更强大的方法可以用来复制数据？我可以使用MLCP或使用spawn模块在任务服务器上运行它并完成这项工作吗？我正在AWS上托管的ML-8上运行。

任何建议都会有很大帮助。

此致 阿米特

Answer 1

我会使用Corb2来促进xdmp：save（）命令，因为s3：//是一个内置的文件系统。使用MLCP的任何解决方案都会遭受更多数据传输，除非您还需要存档（如果您想保留属性，权限，集合等，这是一个有效点），我不确定该值。

其次 - 我从未做过，但据我所知，你可以使用S3作为森林的位置。在这种情况下，您可以将某些文档与位于S3上的林进行平衡。

Answer 2

您可以使用备份功能并将目标目录设置为s3：// bucket / path

Answer 3

我使用mlcp导出来进行更改，它对收集过滤器非常有效，并为我做了诀窍。我还没有尝试过CORB2，但是在时间允许的情况下也会试一试

mlcp export -host {host} -port {port} -username {username} -password {password} -output_file_path {S3 path} -collection_filter {要移动的集合名称}