在Kibana中,我可以使用弹性搜索和Hadoop连接器从Hadoop(Hive)中可视化或提取图像和视频数据吗?

时间:2018-10-09 08:00:06

标签: hadoop elasticsearch hive kibana

在使用自动驾驶汽车数据时,我有类似给定时间戳范围的要求,我需要搜索Elastic Search并获取车辆位置图像,视频,纬度,经度,车辆速度。输入数据将使用Kafka + Spark Streaming加载到Hadoop中,此转换后的数据包含json文件,图像,视频。 json文件具有以下属性:航向,速度,时间戳,纬度,经度,准确性。 json文件名与相应的图像名和视频名匹配,但扩展名(.JPG,.JSON)不同。由于搜索应该非常快地获取Petta字节数据的结果,因此我们在这里要求通过与Hadoop集成使用Elastic search和Kibana(Impala或presto可能与kibana的性能不匹配)。 这里的问题是我们可以使用序列文件格式将图像和视频数据存储在Hadoop中。但是可以通过Hadoop集成在ES中对相同数据进行索引吗?还是我们可以在搜索时直接从蜂巢中提取图像或视频数据到Kibana?还是有替代方法。非常感谢您的帮助。

0 个答案:

没有答案