我有一些使用lzo压缩的tsv格式的数据。现在,我想在java spark程序中使用这些数据。
目前,我可以解压缩文件,然后使用
将它们作为文本文件导入Java SparkSession spark = SparkSession.builder()
.master("local[2]")
.appName("MyName")
.getOrCreate();
Dataset<Row> input = spark.read()
.option("sep", "\t")
.csv(args[0]);
input.show(5); // visually check if data were imported correctly
我在第一个参数中传递了解压缩文件的路径。如果我将lzo文件作为参数传递,则show的结果是难以辨认的垃圾。
有没有办法让它发挥作用?我使用IntelliJ作为IDE,项目在Maven中设置。
答案 0 :(得分:1)
我找到了解决方案。它由两部分组成:安装hadoop-lzo包并进行配置;执行此操作后,代码将保持与问题中的相同,前提是可以将lzo文件导入单个分区。
在下文中,我将解释如何为IntelliJ中设置的maven项目执行此操作。
安装包hadoop-lzo:您需要修改maven项目文件夹中的pom.xml
文件。它应包含以下摘录:
<repositories>
<repository>
<id>twitter-twttr</id>
<url>http://maven.twttr.com</url>
</repository>
</repositories>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<!-- Apache Spark main library -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.0</version>
</dependency>
<dependency>
<!-- Packages for datasets and dataframes -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.1.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.hadoop.gplcompression/hadoop-lzo -->
<dependency>
<groupId>com.hadoop.gplcompression</groupId>
<artifactId>hadoop-lzo</artifactId>
<version>0.4.20</version>
</dependency>
</dependencies>
这将激活包含包hadoop-lzo的maven Twitter存储库,并为项目提供hadoop-lzo。
第二步是创建一个core-site.xml
文件,告诉hadoop你已经安装了一个新的编解码器。它应该放在程序文件夹中的某个位置。我将它放在src/main/resources/core-site.xml
下并将该文件夹标记为资源(右键单击IntelliJ项目面板中的文件夹 - &gt;将目录标记为 - &gt;资源root)。 core-site.xml
文件应包含:
<configuration>
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
</configuration>
那就是它!再次运行你的程序,它应该工作!