Question

我希望借助点火写入缓存在hdfs中插入数据。我使用以下示例配置文件来运行点火节点。

ignite.sh /app/apache-ignite-fabric-1.9.0-bin/examples/config/filesystem/example-igfs.xml

这是我的core-site.xml文件

<configuration>
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hmaster:9000/</value>
</property>
<property>
   <name>fs.file.impl</name>
   <!-- value>org.apache.hadoop.fs.LocalFileSystem</value  -->
<value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
   <description>The FileSystem for file: uris.</description>
</property>

<property>
   <name>fs.hdfs.impl</name>
   <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
   <description>The FileSystem for hdfs: uris.</description>
</property>

 <property>
      <name>fs.igfs.impl</name>
      <value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
  </property>
</configuration>
</configuration>

当我hadoop fs -cat igfs:///时，它会显示igfs文件系统。如果我通过下面的命令运行任何hadoop作业，它会在igfs中插入数据。但我需要在hdfs文件系统中插入数据。如何在hdfs中插入数据？

hadoop --config /app/apache-ignite-fabric-1.9.0-bin/examples/config/filesystem  jar /app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount igfs:///workDir/myFile1 /outputWC

Answer 1

您应该使用辅助文件系统配置IGFS，以便在Ignite中进行直写式缓存。

此文档页面说明了一些内容：https://apacheignite-fs.readme.io/docs/secondary-file-system Ignite Hadoop版本的config（default-config.xml）具有以下代码，默认情况下已注释掉：

              <property name="secondaryFileSystem">
                    <bean class="org.apache.ignite.hadoop.fs.IgniteHadoopIgfsSecondaryFileSystem">
                        <property name="fileSystemFactory">
                            <bean class="org.apache.ignite.hadoop.fs.CachingHadoopFileSystemFactory">
                                <property name="uri" value="hdfs://your_hdfs_host:9000/"/>
                            </bean>
                        </property>
                    </bean>
                </property>

您需要取消注释并提供适当的辅助文件系统URI。请注意在第二个文件系统URI hdfs://your_hdfs_host:9000/的末尾应该存在尾部斜杠的已知错误。默认情况下，将使用DUAL_ASYNC模式。设置{file 1}模式设置“fileSystemConfiguration”bean的“defaultMode”属性。

一般评论。

Hadoop配置文件中不应存在嵌套的DUAL_SYNC标记。
您可能不需要重新定义'fs.file.impl'和'fs.hdfs.impl'，请使用<configuration>作为$IGNITE_HOME/config/hadoop/core-site.ignite.xml文件模板。
core-site.xml不适用于目录，请使用hadoop fs -cat ...

使用apache ignite在hdfs上写一个文件

1 个答案: