将lzo文件导入java spark作为数据集

时间:2017-07-28 14:38:17

标签: java maven apache-spark intellij-idea lzo

我有一些使用lzo压缩的tsv格式的数据。现在,我想在java spark程序中使用这些数据。

目前,我可以解压缩文件,然后使用

将它们作为文本文件导入Java
    SparkSession spark = SparkSession.builder()
            .master("local[2]")
            .appName("MyName")
            .getOrCreate();

    Dataset<Row> input = spark.read()
            .option("sep", "\t")
            .csv(args[0]);

    input.show(5);   // visually check if data were imported correctly

我在第一个参数中传递了解压缩文件的路径。如果我将lzo文件作为参数传递,则show的结果是难以辨认的垃圾。

有没有办法让它发挥作用?我使用IntelliJ作为IDE,项目在Maven中设置。

1 个答案:

答案 0 :(得分:1)

我找到了解决方案。它由两部分组成:安装hadoop-lzo包并进行配置;执行此操作后,代码将保持与问题中的相同,前提是可以将lzo文件导入单个分区。

在下文中,我将解释如何为IntelliJ中设置的maven项目执行此操作。

  • 安装包hadoop-lzo:您需要修改maven项目文件夹中的pom.xml文件。它应包含以下摘录:

    <repositories>
        <repository>
            <id>twitter-twttr</id>
            <url>http://maven.twttr.com</url>
        </repository>
    </repositories>
    
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>
    
    <dependencies>
    
        <dependency>
            <!-- Apache Spark main library -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
    
        <dependency>
            <!-- Packages for datasets and dataframes -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
    
        <!-- https://mvnrepository.com/artifact/com.hadoop.gplcompression/hadoop-lzo -->
        <dependency>
            <groupId>com.hadoop.gplcompression</groupId>
            <artifactId>hadoop-lzo</artifactId>
            <version>0.4.20</version>
        </dependency>
    
    </dependencies>
    

这将激活包含包hadoop-lzo的maven Twitter存储库,并为项目提供hadoop-lzo。

  • 第二步是创建一个core-site.xml文件,告诉hadoop你已经安装了一个新的编解码器。它应该放在程序文件夹中的某个位置。我将它放在src/main/resources/core-site.xml下并将该文件夹标记为资源(右键单击IntelliJ项目面板中的文件夹 - &gt;将目录标记为 - &gt;资源root)。 core-site.xml文件应包含:

    <configuration>
        <property>
            <name>io.compression.codecs</name>
            <value>org.apache.hadoop.io.compress.DefaultCodec,
                com.hadoop.compression.lzo.LzoCodec,
                com.hadoop.compression.lzo.LzopCodec,
                org.apache.hadoop.io.compress.GzipCodec,
                org.apache.hadoop.io.compress.BZip2Codec</value>
        </property>
        <property>
            <name>io.compression.codec.lzo.class</name>
            <value>com.hadoop.compression.lzo.LzoCodec</value>
        </property>
    </configuration>
    

那就是它!再次运行你的程序,它应该工作!