我使用avro文件工作很多,每次启动spark shell我都要做这5个进口
import org.apache.avro.generic.GenericRecord
import org.apache.avro.mapred.AvroKey
import org.apache.avro.mapreduce.AvroKeyInputFormat
import org.apache.hadoop.io.NullWritable
import org.apache.spark.SparkContext
每次启动spark-shell时,它们是否可以自动导入到火花壳中?
答案 0 :(得分:2)
我认为已经回答here。只需将您的导入包含在文件(some_file
)中,并在启动spark-shell时指定它
spak-shell -i some_file
或运行
scala>:load some_file
在spark-shell启动后。