是否有可能将apache点燃rdd转换为scala中的spark rdd

Question

我是新手的阿帕奇点火以及火花...... 任何人都可以通过示例帮助将scat中的点火rdd转换为spark rdd。

更新---- 使用案例： 我将收到一个hbase表的数据帧。我将执行一些逻辑来构建报告，将它保存到ignite rdd ...并且每个表都会更新相同的点火rdd ...一旦所有表都被执行final ignite rdd将转换为spark或java rdd，最后一条规则将在该rdd上执行...运行该规则我需要将rdd转换为数据帧。并且该数据框将作为最终报告保存在配置单元中......

Answer 1

转换是什么意思？ IgniteRDD is a Spark RDD，技术上它是＆＃39; RDD特征的一个子类型。

Spark内部有许多类型的RDD：MappedRDD，HadoopRDD，LogicalRDD。 IgniteRDD只是可能的RDD类型之一，经过一些转换后，它也将被其他RDD类型包裹，即MappedRDD。

您也可以编写自己的RDD :)

来自documentation的示例：

val cache = igniteContext.fromCache("partitioned")
val result = cache.filter(_._2.contains("Ignite")).collect()

过滤缓存RDD后，类型将不同 - IgniteRDD将被包装到FilteredRDD。然而，它仍在实施RDD特性。

评论后更新：

1. 首先，你有进口暗示吗？ import spark.implicits._
2. 在SparkSession中，您有各种createDataFrame方法，可将您的RDD转换为DataFrame / Dataset

如果它仍然没有帮助您，请提供您在创建DataFrame和代码示例时获得的错误