Question

我没有询问如何在hadoop中为文件夹/文件设置复制因子。我知道以下命令可以完美地用于现有文件＆amp;文件夹。

    b1.setVisibility(View.INVISIBLE);
    b2.setVisibility(View.INVISIBLE);
    b3.setVisibility(View.INVISIBLE);
    b4.setVisibility(View.INVISIBLE);
    visible = false;

我问，在从本地复制数据时，如何设置复制因子，而不是默认值（在我的方案中为4）。我正在运行以下命令，

hadoop fs -setrep -R -w 3 <folder-path>

当我运行上述命令时，它会将数据从hadoop fs -copyFromLocal <src> <dest>复制到src路径，复制因子为4.但我希望在复制数据时将复制因子设为dest，但不是复制完成后。基本上我想要这样的东西，

我试过了，但它没有用。那么，可以做到吗？或者我首先使用复制因子4复制数据，然后运行hadoop fs -setrep -R 1 -copyFromLocal <src> <dest>命令？

Answer 1

根据this post和this post（都提出不同的问题），这个命令似乎有效：

hadoop fs -D dfs.replication=1 -copyFromLocal <src> <dest>

-D option表示“使用给定属性的值。”

如何在运行copyFromLocal命令时更改复制因子？

1 个答案: