使用AWS Glue,S3和Athena的侧宽搜索引擎

时间:2018-02-12 08:13:37

标签: amazon-s3 amazon-athena aws-glue

我们有~30个微服务,包括论坛数据,用户数据,票据数据,账单数据,活动数据,通知等等。这些数据位于独立的数据库中。最终用户希望搜索相关数据,这将有助于他们获取所需信息,并通过我们的产品改善用户体验。

我们想知道是否可以使用AWS Glue,S3,Athena / S3 select来构建搜索引擎,而不是使用弹性搜索和构建复杂的搜索系统。

多个胶水作业将定期向dbs查询具有用户数据的表和列,并以压缩格式将其转储到S3 - 镶木地板。然后,当用户搜索此数据时,我们将使用S3 select查询此数据,从而产生低成本,差的勒芒搜索引擎。

我们知道S3中的数据不会是最新的,这是可以接受的。大多数用户在修改后不会立即查询数据。

我们不确定从UX的角度来看,获取搜索结果的延迟和延迟是多少。如果有更好的方法,我希望听到有关这种方法的技术反馈。

0 个答案:

没有答案