有一个IngiteRDD
可以反映对底层缓存的更改,这在某些情况下是非常好的,以克服Spark的不可变性的缺点。 RDD。
有IgniteRDD.sql
方法运行ANSI sql (not spark sql)
,此方法返回一个DataFrame,它是spark sql的概念。当我得到这个DataFrame对象时,我可以将它用作普通的DataFrame,我不需要认为它来自Ignite世界吗?也就是说,我可以注册临时表,然后与其他DataFrame进行分布式连接。当分布式连接的sql执行时,Ignite是否使用Spark SQL Engine或Ignite Engine来运行sql?
答案 0 :(得分:0)
执行查询后,您可以使用Dataframe
API,但在这种情况下,它不会被分发。即它将与已经提取给驱动程序的本地结果集一起使用。
Ignite的全面Dataframe
支持将于明年推出。