Amazon MapReduce Hive调用简单队列服务

Question

我是亚马逊MapReduce的新手。谁能告诉我如何从Hive作业轻松地向亚马逊的SQS（简单队列服务）提交消息？我想把指向我作业的S3结果的指针放到SQS中，以便更简单的自动检索。

Answer 1

我认为你不能从HIVE本身调用SQS，但是，你可以创建一个脚本（如史蒂夫建议的那样），它将调用SQS和Hive。您可以在Hive脚本启动之前以及Hive作业结束后调用SQS，并指向存储（或将存储）结果的位置。

Answer 2

另一种可能的方法：

1. 创建一个新的DynamoDB表；设置一个Lambda，它将使用SQS流在每个新商品上推送SQS

2. 在Hive中，每当您要推送SQS时在该表中插入一条记录