在流学习中进行批量学习以进行聚类

时间:2015-02-02 23:30:57

标签: hadoop apache-spark spark-streaming

我有一个"研究"问题:

是否有方法在流学习中结合批量学习(MapReduce)进行聚类?

2 个答案:

答案 0 :(得分:0)

请查看Apache SparkGoogle Dataflow以了解在批处理和流模式下运行的编程模型。

Apache Spark有mllib用于机器学习

答案 1 :(得分:0)

Freeman实验室推出了一些非常有趣的Spark Stream / MLlib集成工作,通过引入“健忘”参数对流进行小批量聚类

https://databricks.com/blog/2015/01/28/introducing-streaming-k-means-in-spark-1-2.html

https://gist.github.com/freeman-lab/9672685