我是使用Spark并尝试计算大量数据并将其发送到目标数据库的新手。 数据文件约3GB，我可以在服务器上使用 “ 1个CPU，物理16个内核（32个逻辑内核），64 GB RAM。”
由于要计算数据并将其传输到目标数据库，我触摸conf文件夹中的spark-env.sh并添加两行 “ spark_executor_memory = 4g spark_driver_memory 4g” 而且我还计划使用整个内核。我的模型代码中的（ie）local [*]，但想知道物理和逻辑之间哪个核心更容易产生火花
在此之前，我打包了逻辑文件，并保存了“ .jars”。 我多次提交了jar文件，但是没有用，我发现有错误 第一个“ GC开销限制”->不知道为什么签名 第二个“ heartBeatResponse（false）”->在改组groupBy或传输数据库服务器时发生 在本地模式下，如何调整火花仍然让我感到困惑。 真的希望有人能提出解决方案以解决问题。