刷新德鲁伊中的数据

时间:2020-09-03 06:53:15

标签: druid data-ingestion

我正在使用index_parallel本机批处理方法将数据从s3提取到Druid。我已经使用Druid UI中的“任务”选项卡进行了初始摄取。我想安排另一个任务来每天进行增量摄取。

我已经阅读了许多文档,但是我没有发现与在德鲁伊上安排任务有关的任何事情。

有人可以在这里帮助我安排本地批量提取任务的所有方式吗?

1 个答案:

答案 0 :(得分:1)

通常情况下,您会使用Airflow之类的程序来安排定期摄入,例如看到这个很酷的博客文章:

https://www.linkedin.com/pulse/open-source-data-warehousing-druid-apache-airflow-superset-sp%C3%A4ti/

哦,在这方面也要轻描淡写,以确保您知道如何配置作业以添加数据:

https://druid.apache.org/docs/latest/ingestion/data-management.html#adding-new-data

相关问题