执行toDF

时间:2016-09-09 00:39:00

标签: windows hadoop apache-spark spark-dataframe

我在Windows 10 64位VM上运行Spark 2.0。我能够运行spark-shell并且可以执行与RDD相关的Scala中的任何方法。当我输入以下内容时(我已经确认问题发生在toDF方法上):

val df = Seq(("one",1), ("two", 2), ("three", 3)).toDF("word", "count")

我得到一个以此信息开头的异常:

  

16/09/09 00:04:10 WARN一般:插件(Bundle)“org.datanucleus.api.jdo”已经注册。确保类路径中没有相同插件的多个JAR版本。 URL“file:/ C:/Spark/jars/datanucleus-api-jdo-3.2.6.jar”已经注册,您正在尝试注册位于URL“file:/ C:/ Spark /”的相同插件斌/../瓶/ DataNucleus将-API JDO-3.2.6.jar。”   16/09/09 00:04:10 WARN一般:插件(Bundle)“org.datanucleus.store.rdbms”已经注册。确保类路径中没有相同插件的多个JAR版本。 URL“file:/ C:/Spark/jars/datanucleus-rdbms-3.2.9.jar”已经注册,您正在尝试注册位于URL“file:/ C:/ Spark / bin /”的相同插件../jars/datanucleus-rdbms-3.2.9.jar“。   16/09/09 00:04:10 WARN一般:插件(Bundle)“org.datanucleus”已经注册。确保类路径中没有相同插件的多个JAR版本。 URL“file:/ C:/ Spark / bin /../ jars / datanucleus-core-3.2.10.jar”已经注册,您正在尝试注册位于URL“file:/ C的相同插件: /Spark/jars/datanucleus-core-3.2.10.jar“。   16/09/09 00:04:13 WARN ObjectStore:无法获取数据库默认值,返回NoSuchObjectException   16/09/09 00:04:13 WARN Hive:无法获得Metastore。不应在运行时访问此类。   org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient           在org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1236)           在org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions(Hive.java:174)           在org.apache.hadoop.hive.ql.metadata.Hive。(Hive.java:166)           在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503)           在org.apache.spark.sql.hive.client.HiveClientImpl。(HiveClientImpl.scala:171)           at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)           at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)           at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)           在java.lang.reflect.Constructor.newInstance(Constructor.java:423)...

以下是我的环境变量:

  • SPARK_HOME | C:\火花
  • HADOOP_HOME | C:\火花
  • JAVA_HOME | C:\ Program Files \ Java \ jdk1.8.0_101

我在C:\ Spark \ bin文件夹中有winutils.exe

作为附加信息,当我执行spark-shell命令时,我注意到这个陈述,但是我的研究表明它没关系。

  

16/09/09 00:36:32 WARN NativeCodeLoader:无法为您的平台加载native-hadoop库...使用适用的builtin-java类

0 个答案:

没有答案