我正在尝试读取hdfs中的文件。这是我的hadoop文件结构的显示。
hduser@GVM:/usr/local/spark/bin$ hadoop fs -ls -R /
drwxr-xr-x - hduser supergroup 0 2016-03-06 17:28 /inputFiles
drwxr-xr-x - hduser supergroup 0 2016-03-06 17:31 /inputFiles/CountOfMonteCristo
-rw-r--r-- 1 hduser supergroup 2685300 2016-03-06 17:31 /inputFiles/CountOfMonteCristo/BookText.txt
这是我的pyspark代码:
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("myFirstApp").setMaster("local")
sc = SparkContext(conf=conf)
textFile = sc.textFile("hdfs://inputFiles/CountOfMonteCristo/BookText.txt")
textFile.first()
我得到的错误是:
Py4JJavaError: An error occurred while calling o64.partitions.
: java.lang.IllegalArgumentException: java.net.UnknownHostException: inputFiles
这是因为我错误地设置了sparkContext吗?我通过虚拟盒在ubuntu 14.04虚拟机中运行它。
我不确定我在这里做错了什么......
答案 0 :(得分:11)
如果没有提供配置,您可以通过完整路径访问HDFS文件。(如果hdfs位于本地环境中,则namenodehost是您的本地主机)。
hdfs://namenodehost/inputFiles/CountOfMonteCristo/BookText.txt
答案 1 :(得分:7)
由于您不提供权限,URI应如下所示:
hdfs:///inputFiles/CountOfMonteCristo/BookText.txt
否则inputFiles
被解释为主机名。如果配置正确,您根本不需要使用方案:
/inputFiles/CountOfMonteCristo/BookText.txt
代替。
答案 2 :(得分:0)
在Spark中读取文件的一般方法有两种,一种是对分布广泛的大型文件进行并行处理,另一种是对小型文件(如查找表和HDFS上的配置)进行读取。对于后者,您可能希望以单次读取(而不是分布式读取)读取驱动程序节点或工作程序中的文件。在这种情况下,您应该使用SparkFiles
模块,如下所示。
# spark is a SparkSession instance
from pyspark import SparkFiles
spark.sparkContext.addFile('hdfs:///user/bekce/myfile.json')
with open(SparkFiles.get('myfile.json'), 'rb') as handle:
j = json.load(handle)
or_do_whatever_with(handle)
答案 3 :(得分:0)
首先,您需要运行
export PYSPARK_PYTHON=python3.4 #what so ever is your python version
代码
from pyspark.sql import SparkSession
from pyspark import SparkConf, SparkContext
spark = SparkSession.builder.appName("HDFS").getOrCreate()
sparkcont = SparkContext.getOrCreate(SparkConf().setAppName("HDFS"))
logs = sparkcont.setLogLevel("ERROR")
data = [('First', 1), ('Second', 2), ('Third', 3), ('Fourth', 4), ('Fifth', 5)]
df = spark.createDataFrame(data)
df.write.csv("hdfs:///mnt/data/")
print("Data Written")
执行代码
spark-submit --master yarn --deploy-mode client <py file>