Question

我有一个spark程序，该程序涉及对大型Hive表（数以百万计的行和数百个列）的联接操作。这些连接期间使用的内存确实很高。我想了解在YARN上的Spark中处理这种情况的最佳方法，该方法可以成功完成工作而不会出现内存错误。该集群由7个工作人员组成，每个工作人员拥有110 GB的内存和16个核心。考虑以下scala代码：

object Model1Prep {

    def main(args: Array[String]): Unit = {

        val conf = new SparkConf().setAppName("Modello1_Spark")
        conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
        conf.set("spark.io.compression.codec", "org.apache.spark.io.LZFCompressionCodec")
        val sc = new SparkContext(conf)
        val hc = new HiveContext(sc)
        import hc.implicits._


        hc.sql("SET hive.exec.compress.output=true")
        hc.sql("SET parquet.compression=SNAPPY")
        hc.sql("SET spark.sql.parquet.compression.codec=snappy")


        // loading tables on dataframes
        var tableA = hc.read.table("TA")
        var tableB = hc.read.table("TB")
        var tableC = hc.read.table("TC")
        var tableD = hc.read.table("TD")


        // registering tables
        tableA.registerTempTable("TA")
        tableB.registerTempTable("TB")
        tableC.registerTempTable("TC")
        tableD.registerTempTable("TD")


        var join1 = hc.sql("""
            SELECT 
                [many fields]
            FROM TA a 
            JOIN TB b ON a.field = b.field      
            LEFT JOIN TC c ON a.field = c.field         
            WHERE [conditions]
        """)


        var join2 = hc.sql("""
            SELECT 
                [many fields]
            FROM TA a 
            LEFT JOIN TD d ON a.field = d.field
            WHERE [conditions]
        """)


        // [other operations]


        sc.close()
    }
}

考虑到join操作确实在内存上非常昂贵，在这里我最好的选择是什么？我知道一个数据帧可以同时保存在内存和磁盘上，可能使用序列化使其在内存中更紧凑，但代价是反序列化的处理时间较慢（here和here上的更多信息）。从上面的代码中，表TA在两个联接中都使用，因此将其持久化是有意义的：

    //[...]        

    // persisting
    tableA.persist(StorageLevel.MEMORY_AND_DISK_SER_2)

    // registering tables
    tableA.registerTempTable("TA")
    tableB.registerTempTable("TB")
    tableC.registerTempTable("TC")
    tableD.registerTempTable("TD")

    //[...]

我也应该以相同的方式保存其他表吗？还是有其他事情可以使此代码顺利运行和完成？

Answer 1

如果您知道要连接的字段，并且始终是同一字段，那么as this SO answer suggests，对连接的表使用相同的分区程序。

Spark：内存密集型联接操作的最佳实践

1 个答案: