我正在尝试从python脚本读取avro文件,但这会引发错误
尝试过这些事情
Added the package into spark-defaults.conf file
spark.jars.packages com.databricks:spark-csv_2.11:1.2.0
spark = SparkSession.builder.appName('my_awesome')\
.config('spark.jars.packages', 'com.databricks:spark-csv_2.11:1.2.0')\
.getOrCreate()
SUBMIT_ARGS = "--jars com.databricks:spark-avro_2.11-3.2.0.jar pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS
但是没有一个...
你能帮我吗?。