使用pyspark在Jupyter Notebook中读取Avro文件时遇到问题

Question

我正在尝试使用pyspark在Jupyter笔记本中读取avro文件。当我读取文件时，出现错误。

我已经下载了spark-avro_2.11：4.0.0.jar，我不确定我应该在代码的哪个位置插入avro软件包。任何建议都会很棒。

这是我用来读取avro文件的代码的示例

df_avro_example = sqlContext.read.format("com.databricks.spark.avro").load("example_file.avro")

这是我得到的错误

  

AnalysisException：'未能找到数据源：com.databricks.spark.avro。请在http://spark.apache.org/third-party-projects.html;'

中找到一个Avro软件包。

Answer 1

将jar下载到某个位置，并在pyspark应用中使用以下代码段

a = '2019-06-17 10:10:00'
console.log( moment( a ).subtract(1, 'h').format('HH:mm'));