具有手动输入步骤的工作流/ETL 工具?

时间:2021-01-28 04:24:00

标签: workflow etl

我正在开始一项新任务,用户需要上传一些数据文件并附加一些关于它们的元数据。一次上传可能有一堆(50ish)。每个文件都需要单独注释,但是有一些组属性可以应用于大量上传。

工作流程如下:

  • 确定要归档的文件
  • 询问组属性的使用
  • 上传文件到服务器
    • 为数据库中的每个文件创建一个条目
    • 从二进制文件(多种格式)中提取尽可能多的信息并附加到该记录
  • 对于每条不完整的记录,请用户填空
    • 这可以由原始上传者完成或分配给其他用户寻求帮助
    • 当所有数据都完成后,提交记录,并将文件归档到另一个现有服务以存档在数据库中。

我完全可以将它构建为自定义工具(网站或 CLI),但听起来这种创建工作流程的模式,其中包含自动化(文件读取)和手动步骤可能适合已经存在的东西.

我想我只是在问是否有人能想到一些直接的工具,这些工具易于人类使用,并且能很好地完成这类事情。

也许是一些 ETL 工具?我想到了 Apache Airflow,但它看起来不像我所追求的手动干预(手动数据输入表单)。

如有任何建议,我们将不胜感激。

0 个答案:

没有答案