Question

我想读取orders数据并从中创建RDD，并将其作为sequence文件存储在cloudera vm的hadoop fs中。以下是我的步骤：

1）将订单数据作为序列文件导入：

sqoop import --connect jdbc:mysql://localhost/retail_db --username retail_dba --password cloudera  --table orders -m 1 --target-dir /ordersDataSet --as-sequencefile

2）在spark scala中读取文件：

Spark 1.6

val sequenceData=sc.sequenceFile("/ordersDataSet",classOf[org.apache.hadoop.io.Text],classOf[org.apache.hadoop.io.Text]).map(rec => rec.toString())

3）当我尝试从RDD上方读取数据时，它抛出以下错误：

Caused by: java.io.IOException: WritableName can't load class: orders
    at org.apache.hadoop.io.WritableName.getClass(WritableName.java:77)
    at org.apache.hadoop.io.SequenceFile$Reader.getValueClass(SequenceFile.java:2108)
    ... 17 more
Caused by: java.lang.ClassNotFoundException: Class orders not found
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2185)
    at org.apache.hadoop.io.WritableName.getClass(WritableName.java:75)
    ... 18 more

我不知道为什么它说找不到订单。我要去哪里错了？

我也从这两个链接中引用了代码，但没有运气：
1）Refer sequence part
2）Refer step no. 8

Answer 1

sqoop与它无关，这是一个更现实的场景的示例，其中saveAsSequenceFile始终假定k，v对-这可能对您有帮助：

import org.apache.hadoop.io._

val RDD = sc.parallelize( List( (1, List("A", "B")) , (2, List("B", "C")) , (3, List("C", "D", "E")) ) )
val RDD2 = RDD.map(x => (x._1, x._2.mkString("/")))
RDD2.saveAsSequenceFile("/rushhour/seq-directory/2")

val sequence_data = sc.sequenceFile("/rushhour/seq-directory/*", classOf[IntWritable], classOf[Text])
                  .map{case (x, y) => (x.get(), y.toString().split("/")(0), y.toString().split("/")(1))}

sequence_data.collect

返回：

res20: Array[(Int, String, String)] = Array((1,A,B), (2,B,C), (3,C,D), (1,A,B), (2,B,C), (3,C,D))

我不确定是否要使用RDD或DF，但是将RDD转换为DF当然很简单。

Answer 2

我想出了解决自己问题的方法。好吧，我将写一个冗长的解决方案，但我希望它会有所帮助。

1）当我尝试使用HDFS读取在SQOOP中导入的数据时，由于以下原因，它给出了一个错误：

A）序列文件全部与key-value pair有关。因此，当我使用sqoop导入时，导入的数据不在键值对中，这就是为什么在读取数据时会引发错误。
B）如果您尝试读取few characters，从中可以找出在读取序列文件时作为输入传递所需的two classes，您将获得如下数据：

[cloudera@quickstart ~]$ hadoop fs -cat /user/cloudera/problem5/sequence/pa* | head -c 300
SEQ!org.apache.hadoop.io.LongWritableorders�;�M��c�K�����@���-OCLOSED@���PENDING_PAYMENT@���/COMPLETE@���"{CLOSED@���cat: Unable to write to output stream.

在上面您只能看到one class，即org.apache.hadoop.io.LongWritable，当我在读取序列数据时通过它时，将引发错误，该错误在本文中提到。

val sequenceData=sc.sequenceFile("/ordersDataSet",classOf[org.apache.hadoop.io.LongWritable],classOf[org.apache.hadoop.io.LongWritable]).map(rec => rec.toString())

我不认为B点是导致该错误的主要原因，但我非常确定A点是导致该错误的真正原因。

2）以下是我解决问题的方式。

我使用avro将数据作为data SQOOP文件导入了其他目的地。然后，我使用以下方法从avro创建了数据框：

scala> import com.databricks.spark.avro._;
scala> val avroData=sqlContext.read.avro("path")

现在，我创建了key-value pair并将其保存为sequence文件

avroData.map(p=>(p(0).toString,(p(0)+"\t"+p(1)+"\t"+p(2)+"\t"+p(3)))).saveAsSequenceFile("/user/cloudera/problem5/sequence")

现在，当我尝试读取上述书面文件中的few个字符时，它为我提供了two classes，我在读取文件时需要如下所示：

[cloudera@quickstart ~]$ hadoop fs -cat /user/cloudera/problem5/sequence/part-00000 | head -c 300
SEQorg.apache.hadoop.io.Textorg.apache.hadoop.io.Text^#%���8P���11  1374735600000   11599   CLOSED&2#2  1374735600000   256 PENDING_PAYMENT!33  1374735600000   12111   COMPLETE44  1374735600000   8827    CLOSED!55   1374735600000   11318   COMPLETE 66 1374cat: Unable to write to output stream.  

scala> val sequenceData=sc.sequenceFile("/user/cloudera/problem5/sequence",classOf[org.apache.hadoop.io.Text],classOf[org.apache.hadoop.io.Text]).map(rec=>rec.toString)
sequenceData: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[26] at map at <console>:30

现在，当我尝试打印数据时，它显示如下数据：

scala> sequenceData.take(4).foreach(println)
(1,1    1374735600000   11599   CLOSED)
(2,2    1374735600000   256 PENDING_PAYMENT)
(3,3    1374735600000   12111   COMPLETE)
(4,4    1374735600000   8827    CLOSED)

最后但并非最不重要的，谢谢大家所做的努力。干杯！

无法从Sqoop创建的Spark中的序列文件创建数据帧

2 个答案: