在数据块上运行spark时出错：未将构造函数public XXX列入白名单

Question

我正在使用azure数据块，并尝试从此页面运行一些示例python代码：https://spark.apache.org/docs/latest/ml-pipeline.html

并得到以下异常： py4j.security.Py4JSecurityException：构造函数公共org.apache.spark.ml.classification.LogisticRegression（java.lang.String）不在白名单中。

谢谢。 立东

Answer 1

在使用启用了凭证直通的高并发群集时，某些库方法会显示此错误。如果您的情况是这样，则可以选择使用其他群集模式来解决此问题。

  

py4j.security.Py4JSecurityException：...未列入白名单   当您访问Azure Databricks未明确标记为Azure Data Lake Storage凭据直通群集安全的方法时，将引发此异常。在大多数情况下，这意味着该方法可以允许Azure Data Lake Storage凭据直通群集上的用户访问其他用户的凭据。

参考：https://docs.azuredatabricks.net/spark/latest/data-sources/azure/adls-passthrough.html