从R

时间:2018-07-17 16:12:40

标签: r apache-spark sparklyr dbplyr qubole

我正在使用dbplyr使用Rstudio从远程数据库中选择一个表。我使用livy在服务器中连接了Spark。它向我显示了我拥有的数据库,但是当我尝试访问其中一种模式中的表之一时,它将失败。

  

src_databases(sc)#sc是通过livy的火花连接。它成功连接并显示我拥有的所有数据库。

接下来,我想使用dbplyr's in_schema function

连接到其中一个数据库中的表
  

浏览器= tbl(sc,in_schema('数据库名称','表名称'))

,但它显示以下错误消息。可能是什么问题呢?我正在使用的Spark在Qubole中。我也尝试过this approach,但对我来说不起作用。

  

错误:sun.reflect.NativeMethodAccessorImpl.invoke0(本地方法)处的java.lang.reflect.InvocationTargetException org.apache.spark.sql.hive.client.Shim_v0_13.getAllPartitions(HiveShim.scala:434)的java.lang.reflect.Method.invoke(Method.java:606)的java.43 .sql.hive.client.HiveClientImpl $$ anonfun $ getPartitions $ 1.apply(HiveClientImpl.scala:527)位于org.apache.spark.sql.hive.client.HiveClientImpl $$ anonfun $ getPartitions $ 1.apply(HiveClientImpl.scala: 524),网址为org.apache.spark.sql.hive.client.HiveClientImpl.liftedTree1 $ 1(HiveClientImpl $$ anonfun $ withHiveState $ 1.apply(HiveClientImpl.scala:263),网址为org.apache.spark.sql.hive.client.HiveClientImpl.liftedTree1 $ 1(HiveClientImpl .scala:210)位于org.apache.spark.sql.hive.client.HiveClientImpl.retryLocked(HiveClientImpl.scala:209)位于org.apache.spark.sql.hive.client.HiveClientImpl.withHiveState(HiveClie ntImpl.scala:252),位于org.apache.spark.sql.hive.client.HiveClientImpl.getPartitions(HiveClientImpl.scala:524),位于org.apache.spark.sql.hive.MetastoreRelation.allPartitions $ lzycompute(MetastoreRelation.scala: 150)在org.apache.spark.sql.hive.MetastoreRelation.allPartitions(MetastoreRelation.scala:150)在org.apache.spark.sql.hive.MetastoreRelation.getHiveQlPartitions(MetastoreRelation.scala:162)在org.apache.spark .sql.hive.HiveMetastoreCatalog.org $ apache $ spark $ sql $ hive $ HiveMetastoreCatalog $$ convertToLogicalRelation(HiveMetastoreCatalog.scala:256)at org.apache.spark.sql.hive.HiveMetastoreCatalog $ ParquetConversions $ .org $ apache $ park sql $ hive $ HiveMetastoreCatalog $ ParquetConversions $$ convertToParquetRelation(HiveMetastoreCatalog.scala:376)在org.apache.spark.sql.hive.HiveMetastoreCatalog $ ParquetConversions $$ anonfun $ apply $ 1.applyOrElse(HiveMetastoreCatalog) .spark.sql.hive.HiveMetastoreCatalog $ ParquetConversions $$ anonfun $ apply $ 1.applyOrElse(HiveMetastoreCatalog.scala: 384),位于org.apache.spark.sql.catalyst.trees.TreeNode $$ anonfun $ transformUp $ 1.apply(TreeNode.scala:301),位于org.apache.spark.sql.catalyst.trees.TreeNode $$ anonfun $ transformUp org.apache.spark.sql.catalyst.trees.CurrentOrigin $ .withOrigin(TreeNode.scala:69)处的org.apache.spark.sql.catalyst.trees.TreeNode.transformUp处的$ 1.apply(TreeNode.scala:301) (TreeNode.scala:300)在org.apache.spark.sql.catalyst.trees.TreeNode $$ anonfun $ 4.apply(TreeNode.scala:298)在org.apache.spark.sql.catalyst.trees.TreeNode $$ org.apache.spark.sql.catalyst.trees上的anonfun $ 4.apply(TreeNode.scala:298).org.apache.spark.sql.ananfun $ 5.apply(TreeNode.scala:321)在org.apache.spark.sql.catalyst.trees org.apache.spark.sql.catalyst.trees.TreeNode.transformChildren(TreeNode.scala:319)的.TreeNode.mapProductIterator(TreeNode.scala:179)在org.apache.spark.sql.catalyst.trees.TreeNode.transformUp (TreeNode.scala:298)在org.apache.spark.sql.catalyst.trees.TreeNode $$ anonfun $ 4.apply(TreeNode.scala:298)在org.apache.spark.sql.catalyst.trees.TreeN位于org.apache.spark.sql.catalyst.trees的ode $$ anonfun $ 4.apply(TreeNode.scala:298),位于org.apache.spark.sql的ode $$ anonfun $ 5.apply(TreeNode.scala:321)。 org.apache.spark.sql.catalyst.trees处的catalyst.trees.TreeNode.mapProductIterator(TreeNode.scala:179)在org.apache.spark.sql.catalyst.trees.TreeNode.transformChildren(TreeNode.scala:319)在org.apache.spark.sql.catalyst.trees。 org.apache.spark.sql.hive.HiveMetastoreCatalog $ ParquetConversions $ .apply(HiveMetastoreCatalog.scala:384)处的TreeNode.transformUp(TreeNode.scala:298)在org.apache.spark.sql.hive.HiveMetastoreCatalog $ ParquetConversions $。在org.apache.spark处的org.apache.spark.sql.catalyst.rules.RuleExecutor $$ anonfun $ execute $ 1 $$ anonfun $ apply $ 1.apply(RuleExecutor.scala:85)处申请(HiveMetastoreCatalog.scala:363)。 sql.catalyst.rules.RuleExecutor $$ anonfun $ execute $ 1 $ anonfun $ apply $ 1.apply(RuleExecutor.scala:82)在scala.collection.LinearSeqOptimized $ class.foldLeft(LinearSeqOptimized.scala:124)在scala.collection。 org.apache.spark.sql.cata上的immutable.List.foldLeft(List.scala:84) org.apache.spark.sql.catalyst.rules.RuleExecutor $$ anonfun $ execute $ 1.apply(RuleExecutor.scala:74)上的lyst.rules.RuleExecutor $$ anonfun $ execute $ 1.apply(RuleExecutor.scala:82)位于org.apache.spark.sql.execution的scala.collection.immutable.List.foreach(List.scala:381)位于org.apache.spark.sql.catalyst.rules.RuleExecutor.execute(RuleExecutor.scala:74)。 org.apache.spark.sql.execution.QueryExecution.analyzed(QueryExecution.scala:63)处的QueryExecution.analyzed $ lzycompute(QueryExecution.scala:65)在org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(Query。 scala:49)位于org.apache.spark.sql.Dataset。(Dataset.scala:161)位于org.apache.spark.sql.Dataset。(Dataset.scala:167)位于org.apache.spark.sql.Dataset org.apache.spark.sql.SparkSession.sql(SparkSession.scala:583)处的$ .ofRows(Dataset.scala:65)在sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)处在sun.reflect.NativeMethodAccessorImpl.invoke( sun.reflect.DelegatingMethodAccessorImpl.invok上的NativeMethodAccessorImpl.java:57) e(DelegatingMethodAccessorImpl.java:43),位于$ line43处的java.lang.reflect.Method.invoke(Method.java:606)。$ read $$ iw $$ iw $ iw $ Invoke.invoke(:144),处于$ line49。$在$ line49处读取$$ iw $$ iw $ StreamHandler.handleMethodCall(:140)在$ line112处读取$$$ iw $$ iw $ StreamHandler.read(:83)在$ line112。$ read $$ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ $ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $ LivyUtils $ .invokeFromBase64(:158)at $ line172。$ read $$ iw $ iw $ iw $$ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw。(:136)at $ line172。$ read $$ iw $ iw $$ iw $ iw $ iw $ iw $ iw $ $ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $$ iw $ iw。(:141)at $ line172。$ read $$ iw $$ iw $ iw $ iw $ iw $ iw $$ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ $ iw $ (:143)的$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw。(:143)在$ line172。$ read $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw。(:145)at $ line172。$ read $$ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ $ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw。(:147)在$ line172。$ read $$ iw $ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $ iw $ iw $ iw $ iw $$ iw。(:149)在$ line172。$ read $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ $ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw。(:151)at $ line172。$ read $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw。(:153)在$ line172。$ read $$ iw $$ iw $$ i w $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ $ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw 。:: 155)在$ line172。$ read $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ (:157)at $ line172。$ read $$ iw $ iw $ iw $$ iw $ iw $ iw $ iw $ iw $$在$ line172处iw $$ iw $ iw $ iw $ iw $ iw。 iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ $ line172上的$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ ii $$ iw $$ iw。(:159)。$ read $$ iw $ iw $ iw $ $ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw。(:161)在$ line172。$ read $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw

0 个答案:

没有答案