将数据从Rest API加载到HDFS

时间:2016-02-25 09:25:53

标签: hadoop flume

我有rest api

的网址
example: `www.<domainname>/?apikey=1344&host=microsoft.com&records=10 `

example: `www.<domainname>/?apikey=1344&host=timesofindia.com&records=10`

参数可能会改变

这些参数我从另一个文件获得,这又是一个JSON格式

["microsoft.com", "cde.com", "timesofindia.com"]

我可以使用水槽加载这些数据吗?如果是,请告知可以使用哪种类型的资源以及如何使用。

如果没有,请告知替代方案。

1 个答案:

答案 0 :(得分:0)

请检查this。链接说,您可以使用ExecSource水槽。