Py4JNetworkError：尝试连接到Java服务器时发生错误（127.0.0.1:43184）

Question

在尝试在jupyter笔记本中运行pyspark时，我经常会遇到此常见的连接错误。重新启动内核，甚至我的腻子终端都无法正常工作。我了解原因是围绕Java和pyspark引用两个不同服务器的事实。我该如何解决以确保服务器匹配？

ssh_users:
  - name: JohnDoe
    key_file: "{{ lookup('file', 'johnDoe.pub') }}"
  - name: JohnFoo
    key_file: "{{ lookup('file', 'johnFoo.pub') }}"

Answer 1

如果重新启动内核后仍无法解决问题，则可能需要关闭浏览器并重新启动。对我有用。

Answer 2

您可以尝试以下步骤：

1. 卸载并安装Java 8（Spark与Java 9或更高版本不兼容）
2. 在安装Java 8时，请确保要安装的文件夹名称中没有空格（在我的情况下，我将目标文件夹设置为c：\ JavaJdk）
3. 下载winutils.exe并将其移至c：\ winutils \ bin文件夹。
4. 创建另一个文件夹目录c：\ tmp \ hive
5. 将CD放入c：\ winutils \ bin，运行命令“ winutils.exe chmod 777 c：\ tmp \ hive”

6. 打开c：\ spark \ conf文件夹，并确保在Windows资源管理器的“视图”选项卡中选中了“文件扩展名”。将log4j.properties.template文件重命名为log4j.properties。编辑此文件（使用写字板或类似工具），并将log4j.rootCategory的错误级别从INFO更改为ERROR

7. 检查您的“环境变量”

如果执行上述步骤，希望您不会看到相同的错误消息。