Question

我的pyspark版本是2.2.0。我遇到了一个奇怪的问题。我尝试将其简化为以下内容。文件结构：

|root
|-- cast_to_float.py
|-- tests
    |-- test.py

在cast_to_float.py中，我的代码：

from pyspark.sql.types import FloatType
from pyspark.sql.functions import udf

def cast_to_float(y, column_name):
    return y.withColumn(column_name, y[column_name].cast(FloatType()))

def cast_to_float_1(y, column_name):
    to_float = udf(cast2float1, FloatType())
    return y.withColumn(column_name, to_float(column_name))

def cast2float1(a):
    return 1.0

在test.py：

from pyspark.sql import SparkSession
import os
import sys
parentPath = os.path.abspath('..')
if parentPath not in sys.path:
    sys.path.insert(0, parentPath)

from cast_to_float import *
spark = SparkSession.builder.appName("tests").getOrCreate()
df = spark.createDataFrame([
            (1, 1),
            (2, 2),
            (3, 3),
        ], ["ID", "VALUE"])
df1 = cast_to_float(df, 'ID')
df2 = cast_to_float_1(df, 'ID')

df1.show()
df1.printSchema()
df2.printSchema()
df2.show()

然后我在tests文件夹中运行测试，我收到错误消息，该消息来自最后一行，说：

+---+-----+
| ID|VALUE|
+---+-----+
|1.0|    1|
|2.0|    2|
|3.0|    3|
+---+-----+

root
 |-- ID: float (nullable = true)
 |-- VALUE: long (nullable = true)

root
 |-- ID: float (nullable = true)
 |-- VALUE: long (nullable = true)

    Py4JJavaError                             Traceback (most recent call last)
<ipython-input-4-86eb5df2f917> in <module>()
     19 df1.printSchema()
     20 df2.printSchema()
---> 21 df2.show()
...
Py4JJavaError: An error occurred while calling o257.showString.
...
ModuleNotFoundError: No module named 'cast_to_float'
...

cast_to_float似乎已导入，否则我无法获得df1。

如果我将test.py放在cast_to_float.py的同一目录中，并在该目录中运行它，那就没问题了。有任何想法吗？谢谢！

我使用了@ user8371915 __file__方法，如果我在root文件夹中运行它，就可以了。

Answer 1

就像现在一样，结果将取决于您调用脚本的工作目录。

如果您是root用户，则会添加其父级。您应该使用相对于__file__的路径（请参阅what does the __file__ variable mean/do?）：

parentPath = os.path.join(
    os.path.abspath(os.path.dirname(__file__)), 
    os.path.pardir
)

但我会建议使用正确的包结构。

注意：

这仅涵盖本地模式和驱动程序路径，甚至在本地模式下，工作路径也不受驱动程序路径的影响。

要处理执行程序路径（在更改后，您将获得执行程序例外），您仍应将模块分发给工作程序How to use custom classes with Apache Spark (pyspark)?。

spark = SparkSession.builder.appName("tests").getOrCreate() spark.sparkContext.addPyFile("/path/to/cast_to_float.py")

PySpark：调用o51.showString时发生错误。没有名为XXX的模块

1 个答案: