是否可以在sbt控制台中创建RDD？

Question

我在SBT控制台工作并导入了以下内容

scala> import org.apache.spark._
scala> val sc = new SparkContext("local", "shell")
scala> import org.apache.spark.rdd._

我想在控制台中创建一个RDD[Myclass]。这可能吗？

scala> case class MyClass(foobar: String, something: String)

我想要这样做的原因是使用RDD并创建我可以测试的样本数据。而不是阅读textFile或从HDFS或S3中读取大量数据

Answer 1

您可以使用sc.parallelize并提供List个对象。