Question

我试图为bluemix上的spark自动执行spark-submit作业，但我收到了大量输出（例如文件上传状态）。这个详细的输出适用于手动运行spark-submit，但尝试从另一个脚本执行时只是噪音。

有没有办法让 bluemix自定义spark-submit脚本的输出安静？

更新

我试图安静的输出是从spark-submit脚本生成的输出，例如：

Uploading ./truststore.jar
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  3103    0    99  100  3004     60   1835  0:00:01  0:00:01 --:--:--  1835

我不试图从火花中解除输出，所以安静log4j无济于事。

Answer 1

不确定这究竟是你想要的： -

只需将所有内容重定向到/ dev / null

即可

./ spark-submit.sh --vcap credentials / vcap.json --deploy-mode cluster --master https://x.x.x.x:8443 --files abc.txt hellopy.py file：//abc.txt> / dev / null 2＆gt;＆amp; 1

谢谢，查尔斯。

Answer 2

如果你使用python，你可以用这种方式安静警告和信息，但是shuld在其他语言中也是如此：

def quiet_logs(sc):
logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org").setLevel(logger.Level.ERROR)
logger.LogManager.getLogger("akka").setLevel(logger.Level.ERROR)

sc=SparkContext()
quiet_logs(sc)

如何从spark-submit中解除输出？

2 个答案: