使用MLCP将原始数据摄取到Marklogic的挑战

时间:2017-12-28 18:01:34

标签: csv marklogic mlcp marklogic-9

我希望使用MLCP将一些RAW数据转换为marklogic,但是数据的形式是这样的

Informatio#data1      #data2#data3#data4     #data5   
Informatio#data10      #data6#data7#data8     #data9  

使用MLCP将此数据发送到ML 9的挑战是

  • 首先,第一行中没有列名。通常在使用mlcp时,第一行将成为以下各列的列名。而不是在第一行中有列名称是否有任何方法可以将它们传递给marklogic。
  • 其次,由于第一列是相同的值。当生成URI时,将获取第一列名称,以便覆盖摄取到ML中的数据。在我的csv文件中没有唯一的列值,所以我不知道如何为文档生成唯一的URI。

感谢任何帮助

由于

1 个答案:

答案 0 :(得分:3)

  1. MLCP命令要求分隔的文本文件以标题行开头。使用您喜欢的脚本语言将其添加为预处理的一部分。
  2. 命令行开关-delimited_uri_id可以更改为另一列进行ID生成。
  3. 其他可能有用的有趣想法:

    • 让MarkLogic创建唯一ID(另一个命令行开关)
    • 使用输入转换生成更具体的URI - 可能来自复合键。

    供参考:https://docs.marklogic.com/6.0/guide/ingestion/content-pump#id_70366