Spark Kafka结构化流式传输与Apache Ignite

Question

现在我无法在Apche Ignite中保存Spark DataFrames。它将包含在Apache Ignite 2.2版本中，如https://issues.apache.org/jira/browse/IGNITE-3084所述。我正在使用Apache Spark的结构化流API和Kafka来使用数据。我想做一些聚合，比如特定列的平均值或消耗数据的最小值。

我的问题是我是否应该使用Spark SQL DataFrame API来执行上述聚合，还是应该等待Apache Ignite 2.2版本？他们在文档中提到Ignite SQL比Spark SQL快100秒。

Answer 1

实际上，这取决于你。您现在可以继续使用Spark，然后等待Ignite中的DataFrames支持准备就绪，比较这两种方法并选择更适合您需求的方法。