Question

我想在.ini应用程序中阅读spark 1.6.0个文件（我的配置/属性文件）。为此，我使用ConfigParser来读取属性文件。

import ConfigParser
import os
config = ConfigParser.ConfigParser()
config.read(os.path.join(os.path.dirname(__file__), 'config.ini'))

print 'config sections : ', config.sections()

结果是返回空列表。我尝试在客户端和群集模式下提交我的工作，这两种方式都无法运行作业。如果我在阅读文件时遇到任何错误，请告诉我。

Answer 1

可以读取配置文件。您只需要将代码打包到ad egg中，或者在spark-submit期间传递配置文件，如：

spark-submit --master yarn --deploy-mode cluster --py-files conf/config.ini my_pyspark_script.py

或者从egg文件（包含你的python模块和config.ini）运行

spark-submit --master yarn --deploy-mode cluster files --py-files my.egg my_pyspark_script.py
configFile = resource_filename(Requirement.parse("myapp"), "conf/config.ini")
config = ConfigParser.ConfigParser()
config.read(configFile)

在Pyspark中读取属性文件

1 个答案: