标签: apache-spark apache-spark-sql
我使用RDD.pipe来在纱线簇上运行bash脚本。 python代码对我来说是不透明的,因此我要提出的安全问题。
我注意到该文件是使用yarn用户的特权执行的。 这可能会带来很大的安全风险。
一个选项可能是运行sudo -u python_file_path。一定有更好的方法。
我的主要问题是:考虑我运行了一个打开或写入文件的python。假设脚本是作为用户yarn执行的,则用户yarn拥有的任何敏感文件都将受到威胁。理想情况下,脚本应以提交应用程序的用户身份执行。