处理Pentaho转型中的2700万条记录

时间:2019-05-18 10:30:33

标签: pentaho pentaho-spoon pentaho-data-integration

我有一个45,000个ID的列表。对于每个id,我需要为每个日历日生成数据,最终将为我提供2700万条记录。我可以通过在转换中传递ID列表并运行它来手动完成此操作,但我想知道自动执行此操作的方式是什么?将id保存在1000条记录中的xls文件/ txt文件中,并让Pentaho读取一个文件,运行转换,保存输出,打开另一个文件,运行转换,保存输出等等等?

0 个答案:

没有答案