如何进行实时数据分析?

时间:2019-04-24 12:56:59

标签: apache-kafka data-analysis data-presentation

我曾与R合作进行数据分析以建立预测模型。现在,我需要为实时数据分析构建解决方案。这可以从数据中找到模式,并在某些情况发生时显示警报。

Like if I am receiving RSSI from the sensors. First find patterns if it has any relation with battery level and show alert if the live data shows that pattern from live RSSI data.

我做了一点搜索,并在Quora的一个回复中提到了一个链接工具 Kafka 。我没有与Kafka一起工作的经验。

这怎么办?

1 个答案:

答案 0 :(得分:2)

您可以先探索KSQL吗?不知道您的架构,这是对带有实时RSSI数据的理论Kafka主题的幼稚查询:

CREATE STREAM rssi_data 
    (device_id VARCHAR,
     battery_level INT,
     SIGNAL FLOAT)
 WITH (TOPIC='rssi_data', VALUE_FORMAT='json', KEY='device_id');

然后查询它:

CREATE STREAM low_battery_devices AS SELECT * FROM rssi_data WHERE battery_level < 20;

这将创建一个名为low_bettery_devices的新Kafka主题,其中包含电池电量较低的设备的事件。然后,您当然可以通过另一个KSQL查询,R程序或其他与下游Kafka兼容的系统来使用该主题。