python:如何在hdfs中读取.h5文件?

时间:2018-01-30 09:35:18

标签: python hadoop hdfs

我想用hdfs.read()获取一个xxx.h5文件,但我只是得到一些随机代码,python如何读取HDFS中的h5文件?这是我的代码:

from hdfs import *
import pandas as pd
import h5py

c = Client("http://192.168.1.81:50070")
with c.read('/stocks/test/pred/20140103/000001.h5') as reader:
    for line in reader:
        print(line)

如何在hdfs中读取xxx.h5文件?非常感谢!

1 个答案:

答案 0 :(得分:0)

您可以直接使用pandas来读取您的hdfs文件。

import pandas as pd
url = 'http://192.168.1.81:50070/stocks/test/pred/20140103/000001.h5'
df = pd.read_hdf(url)

假设您的xxx.h5是有效的hdfs文件。