Question

我正在使用spark streaming，当我使用spark1.0.2时工作正常，现在我反复得到一些问题

像未找到的类一样，我使用的是相同的pom.xml，其中包含所有spark模块的更新版本我正在使用spark-core，流媒体，使用kafka模块进行流式传输..

它不断地抛出错误，没有公共配置，公共空间，日志记录

如何获取运行spark streaming的所有依赖项..有什么方法或我们只需通过反复试验找到方法吗？

我的pom依赖

<dependencies>
        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>servlet-api</artifactId>
            <version>2.5</version>
        </dependency> 
        <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.1.1</version>
    </dependency>

  <dependency> <!-- Spark streaming dependency -->
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming_2.10</artifactId>
  <version>1.1.1</version>
</dependency>
  <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka_2.10</artifactId>
      <version>1.1.1</version>
    </dependency>

    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
      <version>1.7.5</version>
    </dependency>
        <dependency>
        <groupId>commons-logging</groupId>
        <artifactId>commons-logging</artifactId>
        <version>1.1.1</version>
</dependency>
<dependency>
    <groupId>commons-configuration</groupId>
    <artifactId>commons-configuration</artifactId>
    <version>1.6</version>
</dependency>

    </dependencies>

我在这里遗漏了什么吗？

Answer 1

你的pom.xml仍然使用spark-core版本1.0.2。请将版本1.1.1用于pom.xml中所有与spark相关的依赖项。

Answer 2

最后在浪费了很多时间之后我才得到答案。

1.确保您的pom中的火花版本和版本相同 2.Hadoop版本的spark是用于构建spark或使用spark hadoop prebuild版本的版本 3.使用所需的详细信息更新您的spark env .sh

export JAVA_HOME=/User/java/
export SPARK_MASTER_IP=xyz
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=4g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
export SPARK_LOCAL_IP=xyz

4.如果你使用maven和eclipse使用m2e 1.5版本，否则你必然会得到log4j异常。 5.在代码提交spark应用程序之前，请确保每次清理编译包的jar文件

为什么运行简单的火花流是如此困难？火花1.1.1 Maven依赖

2 个答案: