Ignite如何在Integration视图中使用Spark

时间:2016-12-13 08:00:21

标签: ignite

有一个IngiteRDD可以反映对底层缓存的更改,这在某些情况下是非常好的,以克服Spark的不可变性的缺点。 RDD。

IgniteRDD.sql方法运行ANSI sql (not spark sql),此方法返回一个DataFrame,它是spark sql的概念。当我得到这个DataFrame对象时,我可以将它用作普通的DataFrame,我不需要认为它来自Ignite世界吗?也就是说,我可以注册临时表,然后与其他DataFrame进行分布式连接。当分布式连接的sql执行时,Ignite是否使用Spark SQL Engine或Ignite Engine来运行sql?

1 个答案:

答案 0 :(得分:0)

执行查询后,您可以使用Dataframe API,但在这种情况下,它不会被分发。即它将与已经提取给驱动程序的本地结果集一起使用。

Ignite的全面Dataframe支持将于明年推出。