我试图在需要Java 8的Google colab上运行pyspark,但是当我在Colab中查看Java版本时,它给出了:
openjdk version "11.0.4" 2019-07-16
OpenJDK Runtime Environment (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3)
OpenJDK 64-Bit Server VM (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3, mixed mode)
我尝试使用以下方式更改Java版本:
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
但是,java版本仍然保持11。这种方法可以追溯到7月份,那时我当时使用的是Colab,但现在在同一笔记本上也运行了错误。 我不确定这是否是新事物,但似乎找不到任何补救方法。
作为参考,我试图在Spark数据帧上使用.count(),但一直在获取
IllegalArgumentException: 'Unsupported class file major version 55'
答案 0 :(得分:1)
类似的声音也需要更新替代品:
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
!update-alternatives --set java /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
!java -version
为我打印:
openjdk version "1.8.0_222"
OpenJDK Runtime Environment (build 1.8.0_222-8u222-b10-1ubuntu1~18.04.1-b10)
OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode)