从MongoDB到Teradata的数据迁移

Question

我们正在努力将数据从MongoDB迁移到Teradata（DW）。

我们认为有必要对数据进行转换。

您能否帮我回答以下问题，这些问题将指导我们制定迁移解决方案：

1. 考虑到涉及的转换，哪种格式是从MongoDB导出数据以加载到Teradata（DW）中的最佳和最有效的格式？ （CSV / JSON /其他）

转换可能包括从导出的文件中省略行，省略字段，跨字段的聚合（总和/计数）等。

1. 如果开发ETL框架，Java会是一个不错的选择吗？

2. 我们注意到'\ n'[换行符]也是一些记录的一部分。因此，在csv中，我们看到其间有一些空白。

我们需要关注正确的分界符吗？或者出口格式可以在这方面帮助我们吗？

1. 我们看到一些记录被截断，因为记录的长度超过了1024个字符。

我们在VI编辑器中收到'Line too long'消息。我们的系统中没有备用编辑器。有没有办法处理行截断？

Answer 1

CSV并没有特别明确 - 在野外有几种变体，具有略微不同的转义行为。我几乎总是喜欢任何东西 - 但是 - csv。

1. JS​​ON
2. 是
3. 这不是问题，但确定。
4. 不要用vi编辑数据，这纯粹是编辑器的限制，而不是导出格式。以编程方式进行转换