如何在数据集群

Question

我可能会使用错误的条款进行搜索，但Google并没有告诉我该怎么做。问题是如何在更改一些配置文件（纱线属性等）后重新启动Dataproc上的hadoop服务？

必须在整个群集中的特定订单上重新启动服务。希望在Dataproc安装中必须有脚本或工具，我可以调用它来重新启动集群。

Answer 1

配置属性是一种常见且受到良好支持的用例。

您可以通过cluster properties执行此操作，无需重启守护程序。例如：

dataproc clusters create my-cluster --properties yarn:yarn.resourcemanager.client.thread-count=100

如果您正在执行更高级的操作，例如更新服务日志级别，则可以使用systemctl重新启动服务。

首先ssh到群集节点并键入systemctl以查看可用服务列表。例如，重新启动HDFS NameNode类型sudo systemctl restart hadoop-hdfs-namenode.service

如果这是初始化操作的一部分，则不需要sudo。