我有一个非常简单的使用Python编写的Spark代码。我尝试在独立群集中运行此代码。
from __future__ import print_function
from pyspark import SparkConf
from pyspark import SparkContext
if __name__ == "__main__":
conf = SparkConf().setAppName("deneme").setMaster("spark://spark-master:7077")
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
distData.foreach(print)
我运行以下命令中的代码:
spark-submit --master://spark-master:7077 abc.py
在worker节点的stderr页面中显示结果。还会在stderr页面中显示错误。
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
我知道这是一个非常简单的示例,但找不到任何解决方案。