在POST请求中传递存储在HDFS中的文件(数据)

时间:2019-02-19 12:26:30

标签: apache-spark hadoop post hdfs influxdb

背景

  • 我有一个Spark流应用程序(用Scala编写),它以60秒的批处理间隔读取流数据。

  • 我正在解析这些数据,现在我希望将这些数据存储在InfluxDB中。

  • 由于每批记录的数量大约为5000,因此将每条记录分别推送到InfluxDB(使用InfluxDB HTTP API)非常耗时。为避免这种情况,我准备以“线路协议”格式准备每条记录,并写入HDFS中的文件。

现在,我要对此文件发出POST请求,其中包含Line Protocol格式的数据批。

curl -i -XPOST "http://localhost:8086/write?db=mydb" --data-binary @data.txt

我尝试用文件的hdfs网址替换“ data.txt”,但似乎不起作用。

请问我如何在POST请求中发送存储在HDFS中的文件。

0 个答案:

没有答案