我在下面的pyspark代码中尝试在aws Lambda函数中执行,但是失败并抛出了提到的错误:
from pyspark.sql import SparkSession
def lambda_handler(event, context):
qry1DF = spark.read.format('jdbc').options(url=myjdbcUrl, dbtable="(select * from emp) qry1alias", driver="oracle.jdbc.driver.OracleDriver").load()
qry1DF.write.format("csv").option("header", "true").save("s3://mybucket/test/Lambda_test_259")
错误:
无法导入模块“ lambda_function
”:没有名为“ pyspark
”的模块
我还需要为此设置ojdbc7.jar
才能连接到oracle db,如何解决以上错误消息以及如何将jar文件设置为成功连接到db。
谢谢
答案 0 :(得分:0)
您需要在lambda函数中正确包含软件包和jar。遵循本指南https://docs.aws.amazon.com/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html