我的任务是将spark部署到生产环境中。我通常使用Ansible管理所有内容。我打包了zookeeper和kafka,可以将它们部署为linux服务,但Spark我遇到了问题。
它似乎似乎没有作为服务启动/停止(指的是init.d服务)。是否有人在群集模式下运行spark并且您是否设置了通过init.d脚本启动/停止?或者关于如何设置它的一般共识是什么?
这是我之前尝试过的:
spark init.d服务:
#!/bin/bash
SPARK_BASE_DIR=/opt/spark-2.0.0-bin-hadoop2.7
SPARK_SBIN=$SPARK_BASE_DIR/sbin
PID=''
if [ -f $SPARK_BASE_DIR/conf/spark-env.sh ];then
source $SPARK_BASE_DIR/conf/spark-env.sh
else
echo "$SPARK_BASE_DIR/conf/spark-env.sh does not exist. Can't run script."
exit 1
fi
check_status() {
PID=$(ps ax | grep 'org.apache.spark.deploy.master.Master' | grep java | grep -v grep | awk '{print $1}')
if [ -n "$PID" ]
then
return 1
else
return 0
fi
}
start() {
check_status
if [ "$?" -ne 0 ]
then
echo "Master already running"
exit 1
fi
echo -n "Starting master and workers ... "
su user -c "$SPARK_SBIN/start-all.sh" spark &>/dev/null
sleep 5
check_status
if [ "$?" -eq 0 ]
then
echo "FAILURE"
exit 1
fi
echo "SUCCESS"
exit 0
}
stop() {
check_status
if [ "$?" -eq 0 ]
then
echo "No master running ..."
return 1
else
echo "Stopping master and workers ..."
su user -c "$SPARK_SBIN/stop-all.sh" spark &>/dev/null
sleep 4
echo "done"
return 0
fi
}
status() {
check_status
if [ "$?" -eq 0 ]
then
echo "No master running"
exit 1
else
echo -n "master running: "
echo $PID
exit 0
fi
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
status)
status
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
exit 1
esac
exit 0
我正在从主节点运行服务以启动所有群集节点。
有关我的环境的一些信息:
答案 0 :(得分:3)
我解决了。问题来自我的安塞角色。我没有设置日志文件夹的所有者组。现在它工作正常。