创建JavaRDD对象失败

Question

我有这段代码：

ArrayList<Row> list = new ArrayList<Row>();
Row testRow = RowFactory.create(true, 101.0, "string");
list.add(testRow);
JavaRDD<Row> testRDD = JavaSparkContext.parallelize(list);

在此代码的最后一行中，我有以下错误消息：

  

无法对非静态方法进行静态引用   来自JavaSparkContext类型的prallelize（List＆lt; Row＆gt;）。

如何改进我的代码并从我的列表中创建一个JavaRDD对象（实际上应该有多个Rows对象）。目前我不明白我的代码的哪一部分是静态的。

Answer 1

您只需要实例化JavaSparkContext。

SparkConf conf = new SparkConf();
conf.setAppName("YOUR APP");
//other config like conf.setMaster("YOUR MASTER");
JavaSparkContext ctx = new JavaSparkContext(conf);

//and then
JavaRDD<Row> testRDD = ctx.parallelize(list);