pyspark的Pylint引发错误警告

Question

我想使用pylint。但是，当我将其应用于使用pyspark的代码时，出现警告“ drop_duplicates不可调用”。如果我将代码从“ drop_duplicates”更改为“ dropDuplicates”，则警告消失。如何在不更改整个代码的情况下进行修复？我认为drop_duplicates更具python风格。我尝试添加pyspark-stubs，但确实有所帮助。

Answer 1

PySpark是一场噩梦，然后由于JVM生成的成员而导致掉毛（甚至带有存根），但是您有两种选择：

1. 将以下内容添加到项目根目录中的.pylintrc文件中，并确保您的短绒棉被配置为可以拾取它：

extension-pkg-whitelist=pyspark
generated-members=pyspark.*
ignored-modules=pyspark.sql.functions

1. 每当运行lint时，请使用以下参数运行它：

pylint -j 0 --ignored-modules=pyspark.sql.functions --extension-pkg-whitelist=pyspark --generated-members=pyspark.*

希望这会有所帮助。