我有一个团队，其中许多成员有权通过命令行将Spark任务提交给YARN（资源管理）。很难跟踪谁正在使用多少内核，谁正在使用多少内存...例如现在，我正在寻找一种软件，框架或其他可以帮助我监视每个成员使用的参数的东西。这将是客户和YARN之间的桥梁。然后，我可以用它来过滤提交命令。
我确实看过mlflow，我非常喜欢MLFlow跟踪，但是它是为ML训练过程而设计的。我想知道我是否还有其他选择？还是有其他解决方案。
谢谢！
答案 0 :(得分：0)
我的建议是自己构建这样的工具，因为它不太复杂， 有一个包装器脚本来引发提交，该脚本将使用情况记录在数据库中，并且在火花作业完成后，包装器将知道释放信息。真的很容易做到 此外，如果您的团队已经要求太多信息，您甚至可以阻止提交新的火花。
构建自己的自我时，它甚至可以创建“子团队”或任何您想要的东西都非常灵活。