我正在尝试加载xml gzip文件,我正在将输入xml分解为多个xml记录。但是如果存在特定的xml标记或xml值,mlcp中是否有一种方法可以在加载时忽略记录。如果不是我的其他选择?
以下是我现在用来加载gzip xml文件并打破个别记录的选项
import
-host
xxxxx
-port
xxxx
-username
xxxx
-password
xxxx
-batch_size
1
-input_compressed
true
-input_compression_codec
gzip
-input_file_type
aggregates
-output_collections
wos
-output_permissions
rest-reader,read,rest-writer,update
-output_uri_prefix
/wos/
-output_uri_suffix
.xml
-aggregate_record_element
REC
-aggregate_record_namespace
http://xxxx.yyyy.com
-uri_id
UID
答案 0 :(得分:3)
我只能想到使用MLCP变换(-transform_module
e.a。),你有条件地通过$ content map:map。如果要抑制特定聚合片段,则返回空序列。
HTH!