保存.ebc文件(EBCDIC)

时间:2015-01-27 08:45:00

标签: marklogic

我正在尝试使用以下代码保存.ebc文件:

xquery version "1.0-ml"; 
let $file := doc("\Text.ebc")
return
xdmp:save("\TestOutput.txt", $file,
<options xmlns="xdmp:save">
<output-encoding>ascii</output-encoding>   
</options>)

我希望在保存时将原始文件的EBCDIC内容转换为ASCII。我在输出文件中得到奇怪的输出,而不是任何ASCII内容。

1 个答案:

答案 0 :(得分:1)

存储在MarkLogic中的任何文本或xml文档都以UTF-8编码存储。所以你的文档现在可能不是EBCDIC,除非你以二进制格式存储它。您可以使用xdmp:describe(doc($uri)/node())检查:如果它显示二进制节点,那么它可能是EBCDIC。如果它显示文本或XML,则为UTF-8。现在让我们假设您有一个包含EBCDIC代码点的二进制节点。

xdmp:save函数为其第三个参数采用XML选项元素,但任何output-encoding元素仅对文本或XML有意义。二进制是二进制的:它没有已知的编码,因此xdmp:save不知道如何将其转换为另一种编码。

让我们用一个EBCDIC代码点0xC1创建一个非常简单的二进制文档。这相当于ASCII码点0x41:'A'。

xdmp:document-insert(
  'test.ebc',
  binary { xs:hexBinary('C1') })

让我们确认新文档中有二进制节点:

xdmp:describe(doc('test.ebc')/node())
=> fn:doc("test.ebc")/binary()

现在让我们尝试保存它:

xdmp:save(
  '/tmp/test-binary.txt',
  doc('test.ebc'),
  <options xmlns="xdmp:save">
    <output-encoding>ascii</output-encoding>
  </options>)

内容:

$ od -x /tmp/test-binary.txt 
0000000 001a                                                        
0000001

如果我们取消output-encoding选项,它仍然是C1。所有这些只是证实我们不能依赖output-encoding选项和二进制内容。

那么我们如何在MarkLogic中将EBCDIC转换为ASCII?最好的方法是在我们第一次从任何地方插入文档时正确编码。像xdmp:document-get这样的函数支持输入编码选项,支持HTTP的函数可以使用Content-Type标题。

但是,如果您有一大块未解码的二进制文件,您仍然可以使用https://docs.marklogic.com/xdmp:binary-decode来处理它

xdmp:binary-decode(
  doc('test.ebc'),
  'ebcdic-xml-us')

似乎有大约100种EBCDIC,所以我选择了一种。正如预期的那样,输出为xs:string "A"。您现在可以将该字符串包装在某些XML或文本节点中,并使用xdmp:document-insertxdmp:save保留该字符串。

xdmp:save(
  '/tmp/test-binary.txt',
  text {
    xdmp:binary-decode(doc('test.ebc'), 'ebcdic-xml-us') },
  <options xmlns="xdmp:save">
    <output-encoding>ascii</output-encoding>
  </options>)

正如预期的那样,输出文件包含ASCII中的字母A。我也可以将output-encoding选项保留为xdmp:save,然后它将是UTF-8。在这种情况下,它没有任何区别,但可能有真实的文件。