平面文件从一种格式转换为另一种格式 - 映射工具/实现

时间:2011-05-05 20:30:03

标签: csv mapping file-format flat-file

这是一个有点广泛的主题,我在stackoverflow和一般谷歌上做了很多研究,但没有得到很好的答案。可能是因为我们的项目需求有点独特(肯定没有太大的不同)。

我们有一个Web产品,它将完整的csv文件作为一些业务数据的导入。它作为多个数据部分。

示例

ParentRow
.........Single row with 10-15 columns
EndParentRow
ChildRows
.........Multiple child rows with 10-15 columns
EndChildRows
............
............
上面

根据父母的数量继续多次

我们有两个主要问题:

  1. 我们有25-30位客户使用上述产品,需要每月上传CSV文件。他们抱怨我们的文件格式是压倒性的(我完全同意,它是由前建筑师设计的)。

  2. 所有25-30位客户从另一个系统获取自己格式的数据(所有这些都有不同的格式)。差异范围从不同的列名称,2维数据与我们的同一文件格式的多表格相比,不同的数据值(映射/对应于我们系统中的某些值)。

  3. 由于时间和金钱是一个大约束,我们无法实施满足每个人需求的映射解决方案。

    我们必须提出创造性的解决方案来解决这个问题。我们现在要探索的一个方向是使用一些开箱即用的通用映射工具将给定的CSV格式转换为CSV格式。想法是客户将购买这种开箱即用的产品,并通过映射文件一次性支持他们,然后他们应该能够运行它,除非一些映射需要改变。

    考虑到这一点,到目前为止,我的研究没有取得好成绩。我遇到的唯一有前途的工具是Altova Mapforce。考虑到我们的客户不是高级技术用户,它看起来似乎有点过分,看起来有点复杂。

    对此的任何帮助,想法或建议都非常感谢。我知道我没有完全解释问题陈述,因此我将非常乐意回答问题以更好地定义需求。

1 个答案:

答案 0 :(得分:0)

查看Pentaho PDI工具。它是开源的,它可以很容易地做到这一点。如果您真的想要,可以删除所有必需的插件并将其缩小,甚至将其嵌入到Java应用程序中。