Question

我正在使用带有maven集成的intelli j idea，但我在后续行中遇到错误

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.function.Function;

我正在尝试运行以下示例

package com.spark.hello;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;

public class Hello {

      public static void main(String[] args) {
            String logFile = "F:\\Spark\\a.java"; 
            SparkConf conf = new SparkConf().setAppName("Simple Application");
            JavaSparkContext sc = new JavaSparkContext(conf);
            JavaRDD<String> logData = sc.textFile(logFile).cache();

            long numAs = logData.filter(new Function<String, Boolean>() {
              public Boolean call(String s) { return s.contains("a"); }
            }).count();

            long numBs = logData.filter(new Function<String, Boolean>() {
              public Boolean call(String s) { return s.contains("b"); }
            }).count();

            System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
          }






}

PLZ帮助我解决这个问题，还是有其他办法来运行这种项目???

Answer 1

如果没有看到错误，我猜测IDE会告诉您它们是未使用的导入，请务必仔细检查依赖项和版本。

Alt + Enter 是我用来解决许多问题的捷径。

在intellij idea中导入spark依赖项时出错

1 个答案: