如何在pig或hive UDF中进行API限制?

时间:2018-03-28 00:40:07

标签: hive apache-pig

我有一些数据可以在猪或蜂巢中处理。对于特定字段,我需要调用另一个API进行处理。我想将API调用的速率限制在某个阈值之下,但是没有找到任何关于此的文档。

有什么想法吗?

1 个答案:

答案 0 :(得分:0)

没有办法实现这一目标。 您可以控制该作业中的任务数量并限制每个任务,但这只能控制一个作业。一旦你有多个工作在运行,你就会更多地点击API ......