当我使用命令将所有文件从本地文件系统/ var / log / httpd复制到hadoop分布式文件系统时

Question

您好，请您帮我解决这个错误？

[hadoop@bigdata hadoop]$  bin/hdfs dfs -put /var/log/httpd  logs

15/05/10 10:51:06 WARN util.NativeCodeLoader：无法为您的平台加载native-hadoop库。使用适用的builtin-java类 put：访问文件时出错：/ var / log / httpd

Answer 1

  

[hadoop @ bigdata hadoop] $ bin / hdfs dfs -put / var / log / httpd logs

1. 在HDFS中创建目录：

hdfs dfs -mkdir /logs

1. 将文件复制到HDFS：

hdfs dfs -put /var/log/httpd/*.* /logs/

注意：如果您无法复制到HDFS，则可能是文件夹/ var / log / httpd上的权限问题

1. 如果您获得了权限拒绝错误，请尝试以下操作：

sudo mkdir -p /usr/local/httpdlogs

sudo chown hadoop:hadoop -R /usr/local/httpdlogs

sudo cp /var/log/httpd/*.* /usr/local/httpdlogs/

hdfs dfs -put /usr/local/httpdlogs/*.* /logs/