Question

我必须将数据透视到一个文件中，然后将其存储在另一个文件中。我在处理数据时遇到一些困难。

我有多个文件，这些文件包含的数据看起来像下面所示。列是可变长度的。我先尝试合并文件。但是由于某种原因，输出不正确。我什至没有尝试过透视方法，但是也不知道如何使用它。

如何实现？

File 1:
0,26,27,30,120
201008,100,1000,10,400
201009,200,2000,20,500
201010,300,3000,30,600

File 2:
0,26,27,30,120,145
201008,100,1000,10,400,200
201009,200,2000,20,500,100
201010,300,3000,30,600,150

File 3:
0,26,27,120,145
201008,100,10,400,200
201009,200,20,500,100
201010,300,30,600,150

Output:
201008,26,100
201008,27,1000
201008,30,10
201008,120,400
201008,145,200
201009,26,200
201009,27,2000
201009,30,20
201009,120,500
201009,145,100
.....

我对Spark不太熟悉，但是正在尝试使用flatMap和flatMapValues。我不确定现在如何使用它，但是希望您能提供一些指导。


import org.apache.commons.lang.StringUtils;
import org.apache.log4j.Level;
import org.apache.log4j.Logger;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.SparkSession;

import lombok.extern.slf4j.Slf4j;

@Slf4j
public class ExecutionTest {
    public static void main(String[] args) {
        Logger.getLogger("org.apache").setLevel(Level.WARN);
        Logger.getLogger("org.spark_project").setLevel(Level.WARN);
        Logger.getLogger("io.netty").setLevel(Level.WARN);
        log.info("Starting...");
        // Step 1: Create a SparkContext.
        boolean isRunLocally = Boolean.valueOf(args[0]);
        String filePath = args[1];

        SparkConf conf = new SparkConf().setAppName("Variable File").set("serializer",
                "org.apache.spark.serializer.KryoSerializer");
        if (isRunLocally) {
            log.info("System is running in local mode");
            conf.setMaster("local[*]").set("spark.executor.memory", "2g");
        }

        SparkSession session = SparkSession.builder().config(conf).getOrCreate();

        JavaSparkContext jsc = new JavaSparkContext(session.sparkContext());
        jsc.textFile(filePath, 2)
           .map(new Function<String, String[]>() {
                private static final long serialVersionUID = 1L;
                @Override
                public String[] call(String v1) throws Exception {
                    return StringUtils.split(v1, ",");
                }                       
            })
            .foreach(new VoidFunction<String[]>() {
                private static final long serialVersionUID = 1L;
                @Override
                public void call(String[] t) throws Exception {
                    for (String string : t) {
                        log.info(string);
                    }   
                }

            });     
    }

}

Answer 1

Scala中的解决方案，因为我不是JAVA人士，所以您应该能够适应。并添加排序，缓存等。

数据如下，明显有3个重复条目的文件，如果您不想要，则将其删除。

      0, 5,10, 15  20
 202008, 5,10, 15, 20
 202009,10,20,100,200

上面生成了8行。

      0,888,999
 202008,  5, 10
 202009, 10, 20

上面生成了4行。

     0, 5
202009,10

1行，重复的行。

// Bit lazy with columns names, but anyway.

import org.apache.spark.sql.functions.input_file_name  
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._ 
import spark.implicits._

val inputPath: String = "/FileStore/tables/g*.txt"  
val rdd = spark.read.text(inputPath)
  .select(input_file_name, $"value")   
  .as[(String, String)] 
  .rdd

val rdd2 = rdd.zipWithIndex
val rdd3 = rdd2.map(x => (x._1._1, x._2, x._1._2.split(",").toList.map(_.toInt)))  
val rdd4 = rdd3.map { case (pfx, pfx2, list) => (pfx,pfx2,list.zipWithIndex) }
val df = rdd4.toDF()
df.show(false)
df.printSchema()

val df2 = df.withColumn("rankF", row_number().over(Window.partitionBy($"_1").orderBy($"_2".asc)))
df2.show(false)
df2.printSchema()

val df3 = df2.withColumn("elements", explode($"_3"))
df3.show(false)
df3.printSchema()

val df4 = df3.select($"_1", $"rankF", $"elements".getField("_1"), $"elements".getField("_2")).toDF("fn", "line_num", "val", "col_pos")
df4.show(false)
df4.printSchema()

df4.createOrReplaceTempView("df4temp")

val df51 = spark.sql("""SELECT hdr.fn, hdr.line_num, hdr.val AS pfx, hdr.col_pos
                          FROM df4temp hdr
                         WHERE hdr.line_num <> 1
                           AND hdr.col_pos = 0
                     """) 
df51.show(100,false)

val df52 = spark.sql("""SELECT t1.fn, t1.val AS val1, t1.col_pos, t2.line_num, t2.val AS val2
                          FROM df4temp t1, df4temp t2
                         WHERE t1.col_pos  <> 0
                           AND t1.col_pos  = t2.col_pos 
                           AND t1.line_num <> t2.line_num
                           AND t1.line_num = 1
                           AND t1.fn       = t2.fn
                     """)
df52.show(100,false)

df51.createOrReplaceTempView("df51temp")
df52.createOrReplaceTempView("df52temp")

val df53 = spark.sql("""SELECT DISTINCT t1.pfx, t2.val1, t2.val2
                          FROM df51temp t1, df52temp t2
                         WHERE t1.fn = t2.fn 
                           AND t1.line_num = t2.line_num
                     """)
df53.show(false)

返回：

+------+----+----+
|pfx   |val1|val2|
+------+----+----+
|202008|888 |5   |
|202009|999 |20  |
|202009|20  |200 |
|202008|5   |5   |
|202008|10  |10  |
|202009|888 |10  |
|202008|15  |15  |
|202009|5   |10  |
|202009|10  |20  |
|202009|15  |100 |
|202008|20  |20  |
|202008|999 |10  |
+------+----+----+

我们看到的是数据整理需要临时数据来创建临时视图并适当地与SQL联接。

这里的关键是要知道如何整理数据以使事情变得容易。注意没有groupBy等。每个文件都有不同长度的东西，在RDD中未尝试JOINing，太不灵活了。排名显示第＃行，因此您知道第一行的业务为0。

这就是我们所谓的数据整理。这就是我们在SO上的几点努力工作。这是我最大的努力之一，也是最后的努力之一。

解决方案的弱点是获得文件第1条记录的许多工作，还有其他选择。 https://www.cyberciti.biz/faq/unix-linux-display-first-line-of-file/是我实际考虑的事。

Java Apache Spark flatMaps和数据整理

1 个答案: