我在Windows 10 64位VM上运行Spark 2.0。我能够运行spark-shell并且可以执行与RDD相关的Scala中的任何方法。当我输入以下内容时(我已经确认问题发生在toDF方法上):
val df = Seq(("one",1), ("two", 2), ("three", 3)).toDF("word", "count")
我得到一个以此信息开头的异常:
16/09/09 00:04:10 WARN一般:插件(Bundle)“org.datanucleus.api.jdo”已经注册。确保类路径中没有相同插件的多个JAR版本。 URL“file:/ C:/Spark/jars/datanucleus-api-jdo-3.2.6.jar”已经注册,您正在尝试注册位于URL“file:/ C:/ Spark /”的相同插件斌/../瓶/ DataNucleus将-API JDO-3.2.6.jar。” 16/09/09 00:04:10 WARN一般:插件(Bundle)“org.datanucleus.store.rdbms”已经注册。确保类路径中没有相同插件的多个JAR版本。 URL“file:/ C:/Spark/jars/datanucleus-rdbms-3.2.9.jar”已经注册,您正在尝试注册位于URL“file:/ C:/ Spark / bin /”的相同插件../jars/datanucleus-rdbms-3.2.9.jar“。 16/09/09 00:04:10 WARN一般:插件(Bundle)“org.datanucleus”已经注册。确保类路径中没有相同插件的多个JAR版本。 URL“file:/ C:/ Spark / bin /../ jars / datanucleus-core-3.2.10.jar”已经注册,您正在尝试注册位于URL“file:/ C的相同插件: /Spark/jars/datanucleus-core-3.2.10.jar“。 16/09/09 00:04:13 WARN ObjectStore:无法获取数据库默认值,返回NoSuchObjectException 16/09/09 00:04:13 WARN Hive:无法获得Metastore。不应在运行时访问此类。 org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 在org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1236) 在org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions(Hive.java:174) 在org.apache.hadoop.hive.ql.metadata.Hive。(Hive.java:166) 在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503) 在org.apache.spark.sql.hive.client.HiveClientImpl。(HiveClientImpl.scala:171) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在java.lang.reflect.Constructor.newInstance(Constructor.java:423)...
以下是我的环境变量:
我在C:\ Spark \ bin文件夹中有winutils.exe
作为附加信息,当我执行spark-shell命令时,我注意到这个陈述,但是我的研究表明它没关系。
16/09/09 00:36:32 WARN NativeCodeLoader:无法为您的平台加载native-hadoop库...使用适用的builtin-java类