背景
我有一个Spark流应用程序(用Scala编写),它以60秒的批处理间隔读取流数据。
我正在解析这些数据,现在我希望将这些数据存储在InfluxDB中。
由于每批记录的数量大约为5000,因此将每条记录分别推送到InfluxDB(使用InfluxDB HTTP API)非常耗时。为避免这种情况,我准备以“线路协议”格式准备每条记录,并写入HDFS中的文件。
现在,我要对此文件发出POST请求,其中包含Line Protocol格式的数据批。
curl -i -XPOST "http://localhost:8086/write?db=mydb" --data-binary @data.txt
我尝试用文件的hdfs网址替换“ data.txt”,但似乎不起作用。
请问我如何在POST请求中发送存储在HDFS中的文件。