Question

我实际上正在使用spark，并且正在尝试增加堆空间。

我已经阅读并关注了几个主题。

我正在Windows上工作，并且已将变量环境设置为MAVEN_OPTS=-Xmx512m和set MAVEN_OPTS=-Xmx512m，并使用set M进行了检查

但是，Xmx值设置为什么。我有同样的错误。

 Caused by: java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.

是否可以检查jvm的最大堆空间是多少？还是在实例化spark会话时有解决方法？如SparkSession.builder.config("spark.driver.memory", "512m")吗？

我实际上是在Windows的命令行mvn test上运行maven。测试会实例化sparkSession，从而导致错误

当我在Scala中编码时，对于测试插件，我有这个：

        <plugin>
            <groupId>org.scalatest</groupId>
            <artifactId>scalatest-maven-plugin</artifactId>
            <version>2.0.0</version>
            <executions>
                <execution>
                    <id>test</id>
                    <goals>
                        <goal>test</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>

Answer 1

如果导致溢出问题的原因是scalatest-maven-plugin派生了另一个JVM，建议您将argLine属性与正确的-X选项一起使用：

<plugin>
    <groupId>org.scalatest</groupId>
    <artifactId>scalatest-maven-plugin</artifactId>
    <version>2.0.0</version>
    <configuration>
        <argLine>-Xmx512m</argLine>
        ...
    </configuration>
    ...
<plugin>

请参见scalatest-maven-plugin。

Maven似乎忽略了MAVEN_OPTS

1 个答案: