Question

从理论上讲，使用HDFS CLI运行hdfs命令时，

hdfs dfs -touchz s3://bucketname/folder/file

它通过EMRFS，并在创建S3条目时更新dynamodb中MANIFESTS中的密钥。

emrfs diff-在S3和MANIFESTS（Dynamodb）中都说。到目前为止一切都很好。

当我尝试对s3文件运行以下oozie fs操作时，由于没有在MANIFESTS（dynamodb）中看到按键，我注意到该操作不是通过EMRFS发生的。

emrfs diff-说，文件在S3中，但不在MANIFESTS（Dynamodb）中。

<action name="fs_action">
    <fs>
    <name-node>${nameNode}</name-node>
        <touchz path='folder/file'/>
    </fs>
</action>

只是想知道oozie fs动作是否正在从oozie服务器本身运行时在屏幕后面使用emrfs。只是想了解oozie fs针对s3的屏幕背后发生了什么？

谢谢。

Answer 1

Oozie是不使用EMRFS与S3进行交互的Hadoop应用程序之一。

EMR 上有一些应用程序（例如Presto和Oozie）可以不使用EMRFS与S3交互