自动将CSV文件移动到talent ETL

Question

我正在寻找一种将新文件添加到文件夹后自动对csv文件应用ETL流程的方法。如何在talend ETL工具上使用文件监视程序？

谢谢

Answer 1

您在Talend中具有 tFileProperties 组件。该组件具有默认架构，如

tFileProperties schema

在上面的架构中， mtime：用于表示时间戳记的文件的最后修改时间。获得最大的mtime并存储在一个全局变量中。

获取新文件号的实现逻辑取决于新文件mtime和旧文件mtime。

我希望这会有所帮助。

Answer 2

您可以使用tWaitForFile组件扫描目录，如果该组件中提供了任何格式的文件，该文件将自动加载。在此之前，您需要具有将加载的文件移动到单独的存档目录的逻辑，否则可能会再次加载相同的文件。

谢谢