pyspark

时间:2018-07-28 23:21:17

标签: python apache-spark pyspark

我刚刚开始使用python学习spark,并发现了以下PySpark的SparkContext类的初始化

sc = SparkContext(master="local[24]",pyFiles=['codes/spark_codes.py'])

我阅读了文档,其中提到它用于将文件发送到群集并添加到PYTHONPATH。但是,由于我们将始终从主服务器运行代码,因此该特定参数的用途是什么?

0 个答案:

没有答案