Question

如何阅读pyspark中的twitter.avro文件并从中提取值？

rdd=sc.textFile("twitter.asvc")运作良好

但是当我做的时候

rdd1=sc.textFile("twitter.avro")
rdd1.collect()

我的输出低于

[＆＃39;的OBJ \ X01 \ X02 \ x16avro.schema \ X04 {＆＃34;类型＆＃34;：＆＃34;记录＆＃34;＆＃34;名称＆＃34;：＆＃34 ;发作＆＃34;＆＃34;命名空间＆＃34;：＆＃34; testing.hive.avro.serde＆＃34;＆＃34;字段＆＃34;：[{＆＃34;名称＆＃34 ;: ＆＃34;标题＆＃34;＆＃34;类型＆＃34;：＆＃34;串＆＃34;＆＃34;文档＆＃34;：＆＃34;插曲标题＆＃34;}，{＆＃34;名称＆＃34;：＆＃34; AIR_DATE＆＃34;＆＃34;类型＆＃34;：＆＃34;串＆＃34;＆＃34;文档＆＃34 ;：＆＃34;初始日期＆＃34;}，{＆＃34;名称＆＃34;：＆＃34;医生＆＃34;＆＃34;类型＆＃34;：＆＃34; INT＆＃34;＆＃34;文档＆＃34 ;：＆＃34;主演员演奏剧集博士＆＃34;}]} \ x00kR \ x03LS \ x17m |] Z ^ {0 \ x10 \ x04＆＃34;第十一小时\ x183 2010年4月\ x16＆＃34;医生的妻子\ x1614 2011年5月\ x16＆amp;恐怖方岩的一部分1977年9月3日\ x08 $一个不可思议的孩子11月23日 1963年\ x02 *神秘的星球1986年9月6日\ x0c \ x08Rose \ x1a26 2005年3月\ x12.Daleks的力量\ x1e5 11月 1966年\ x04 \ x14Castrolava \ x1c4 1982年1月＆＃39;，＆＃39; kR \ x03LS \ x17m |] Z ^ {0＆＃39;]

是否有用于阅读此格式的python库？

Answer 1

您应该使用特定于Avro文件的FileInputFormat。

不幸的是我没有使用python，因此我只能将您链接到解决方案。您可以查看：https://github.com/apache/spark/blob/master/examples/src/main/python/avro_inputformat.py

最有趣的部分是这一个：

<td>
<button>Edit</button>
<button onclick="Delete();">Delete</button>
</td>

如何阅读pyspark avro文件并提取值？

1 个答案: