'未能找到数据源:com.databricks.spark.avro

时间:2019-08-29 06:47:19

标签: pyspark

我正在尝试从python脚本读取avro文件,但这会引发错误

尝试过这些事情

Added the package into spark-defaults.conf file

spark.jars.packages com.databricks:spark-csv_2.11:1.2.0

spark = SparkSession.builder.appName('my_awesome')\
    .config('spark.jars.packages', 'com.databricks:spark-csv_2.11:1.2.0')\
    .getOrCreate()

SUBMIT_ARGS = "--jars com.databricks:spark-avro_2.11-3.2.0.jar pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS

但是没有一个...

你能帮我吗?。

0 个答案:

没有答案