使用Vora无法在Scala中查看数据。
VORA:1.2 Spark:1.5.2 / Spark控制器:1.5.8hdfs文件“内容”显示正常。
hdfs dfs -cat / user / vora / XXXXXXXX / part-00000 AB05,560 CD06,340 EF07,590 GH08,230
表格在“show datasourcestables”命令中显示正常
阶> vc.sql(s“”“使用com.sap.spark.vora显示DATASOURCETABLES”“”。stripMargin).show Output
在Scala中显示表失败 阶> vc.sql(“select * from VVCSV”)。show
阶> vc.sql(“select * from VVCSV”)。show
java.lang.RuntimeException:找不到表:VVCSV 在scala.sys.package $ .error(package.scala:27) at> org.apache.spark.sql.catalyst.analysis.SimpleCatalog.lookupRelation(Catalog.scala:139) at> org.apache.spark.sql.extension.ExtendableSQLContext $$ anon $ 2.org $ apache $ spark $ sql $ catalyst $ analysis $ OverrideCatalog $$ super $ lookupRelation(ExtendableSQLContext.scala:52) at> org.apache.spark.sql.catalyst.analysis.OverrideCatalog $$ anonfun $ lookupRelation $ 3.apply(Catalog.scala:203) at>?> org.apache.spark.sql.catalyst.analysis.OverrideCatalog $$ anonfun $ lookupRelation $ 3.apply(Catalog.scala:203) 在scala.Option.getOrElse(Option.scala:120)
答案 0 :(得分:0)
Vora1.2弃用了命令show datasourcetables
,并被show tables using com.sap.spark.vora
取代。但是,该命令仅显示Vora目录中保留的内容。要在当前Spark上下文中加载表(例如,在重新启动spark-shell之后),您需要运行register tables
命令:
vc.sql("register all tables using com.sap.spark.vora").show
要检查当前Spark上下文中的内容,可以使用show tables
命令(不带'using'子句)。有关更多详细信息,请查看Vora Developer Guide和Spark文档。