Question

我使用spark-sql连接到oracle数据库并将数据作为数据帧获取。我想将这个检索到的数据写入avro文件。写给avro时，我看到了多个问题，你能帮助我们吗？

这是代码 -

val df = sqlContext.read.format("jdbc")
    .options(Map( "driver"->"oracle.jdbc.driver.OracleDriver", 
    "url" -> "jdbc:oracle:thin:user/password@host/service"
    , "numPartitions" -> "1", "dbtable"-> "
    (Select * from schema.table WHERE STAGE_NUM <=39 and 
    guid='I284ba1f9cdba11dea82ab9f4ee295c21')"))
    .load()
df.write.format("com.databricks.spark.avro").save("Outputfile")

我项目中存在的依赖关系 -

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>1.5.1</version> </dependency> <dependency> <groupId>com.databricks</groupId> <artifactId>spark-avro_2.10</artifactId> <version>2.0.1</version> </dependency> <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.7.7</version> </dependency> <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro-mapred</artifactId> <version>1.7.7</version> </dependency>

以下是例外信息 -

java.lang.RuntimeException：com.databricks.spark.avro.DefaultSource不允许将create table作为select

如果我使用 - df.write.avro("headnotes")，我会收到以下异常。

java.lang.IllegalAccessError：尝试从类com.databricks.spark.avro.SchemaConverters $$ anonfun $ convertStructToAvro $ 1
访问类org.apache.avro.SchemaBuilder $ FieldDefault

SPARK SQL（1.5.1）连接到Oracle并写入Avro

0 个答案: