标签： postgresql etl data-warehouse data-cleansing
我正在设计一个数据仓库系统，原始数据源有两个：文件（十六进制格式，已知记录结构）和PostgreSQL数据库。 ETL阶段必须读取两个源（文件和DB）的内容并组合/集成/清除它们。在此之后，将数据加载到DW中。
为此目的，更好的工具（例如Talend）或ad-hoc解决方案（使用编程语言编写临时例程）？
答案 0 :(得分：1)
我建议您使用Bulk Loader将平面文件放入数据库。这允许您自定义加载规则，然后使用常规SQL处理/清理结果数据集（无需编写其他自定义代码）