我需要通过作业参数将敏感信息传递给Spark作业，并且需要一种方法来禁止将Spark日志和Spark作业参数保存到任何源。
我目前有一个自定义记录器，将日志重定向到我自己的数据库，但是现在我需要帮助来了解保存火花日志和作业参数的位置以及如何在其他位置禁用或重定向此信息。从https://docs.azuredatabricks.net/clusters/configure.html#cluster-log-delivery我了解到日志已保存到指定的dbfs位置。我还在How to re-direct logs from Azure Databricks to another destination?中看到可以重定向这些日志，但是理想情况下，我不想这样做。如何禁止将它们保存在任何地方？
工作参数呢？如何禁用将它们存储在dbfs或其他地方？
默认情况下，作业参数/火花日志是否存储在dbfs之外的其他地方？
感谢您的指导！