标签: hadoop apache-spark pyspark yarn
我们正在使用hadoop-2.7.3 和spark-2.1.1-bin-hadoop2.7.tgz
hadoop-2.7.3
spark-2.1.1-bin-hadoop2.7.tgz
我们希望在spark
spark
yarn
我想安排不同的cpu / mem一天中的时间,以免它干扰日常活动。 即
after 8:00am use 2 cpus max (1 per job) 5 gb RAM max after 17:00 use 8 cpus max and 16 gb max per job