Question

我有点困惑。我看到的几乎所有Hadoop安装“如何”都将指定的fs.default.name设置为<configuration> <property> <name>fs.default.name</name> <value>hdfs://192.168.0.141:9000</value> </property> </configuration>到9000

val conf = new org.apache.hadoop.conf.Configuration()
val fs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://192.168.0.141/"), conf)

但是，下面的代码

java.net.ConnectException:

给我一个$users = User::whereRaw('lower(info_json->"$.full_name") like lower(?)', ["%{$user_name}%"])->where('user_type', '=', 'admin')->get();，指定无法连接到端口8020。
我将fs.default.name切换为端口8020，现在看来已启动并正在运行。

任何人都可以建议我哪里出了问题吗？

Answer 1

如果您不使用默认端口，则必须指定它

hdfs://192.168.0.141:9000/

或者您可以将core-site.xml放在Scala类路径上，然后通过设置new Configuration()，它将在FileSystem.get(conf)期间自动为您加载地址

顺便说一句，不推荐使用该属性，而推荐使用fs.defaultFS

Hadoop端口：fs.default.name

1 个答案: