使用AWS胶水将数据从S3加载到Elasticsearch

Question

我在S3存储桶中有多个文件夹，每个文件夹包含一个JSON行文件。

我想对这些数据做两件事

1. 应用一些转换并获取表格数据并将其保存到某些数据库中。
2. 保存这些json对象，就像在Elasticseach集群中进行全文搜索一样

我正在使用AWS胶来完成此任务，我知道该怎么做1，但是，我找不到任何有关从s3获取数据并将其存储到使用AWS胶存储到elasticsearch的资源。

有没有办法做到这一点？

Answer 1

如果有人在寻找答案，那么我使用Logstash将文件加载到Elasticsearch。