Question

在streamparse.Streamparse配置远程集群时感到困惑。在localhost中工作正常。但是不能如何设置集群，我的config.json是：

{
    "library": "",
    "topology_specs": "topologies/",
    "virtualenv_specs": "virtualenvs/",
    "envs": {
        "prod": {
            "user": "nandaraj",
            "nimbus": "localhost",
            "workers": ["localhost"],
            "log": {
                "path": "",
                "max_bytes": 1000000,
                "backup_count": 10,
                "level": "info"
            },
            "virtualenv_root": "/data/virtualenvs"
        }
    }
}

首先，我在nimbus和worker中尝试使用localhost并收到错误：

[localhost]执行任务'_create_or_update_virtualenv'

致命错误：需要提示连接或sudo密码（主机：   localhost），但在并行模式下输入是不明确的

中止。需要提示连接或sudo密码（主机：   localhost），但在并行模式下输入是不明确的

致命错误：执行任务时一个或多个主机出现故障   '_create_or_update_virtualenv'

中止。执行任务时一个或多个主机出现故障   '_create_or_update_virtualenv'

之后我尝试在同一局域网中使用计算机的ip（代替localhost for worker）并获得相同的错误。

[192.168.61.41]执行任务'_create_or_update_virtualenv'

致命错误：需要提示连接或sudo密码（主机：   192.168.61.41），但输入在并行模式下是不明确的

中止。需要提示连接或sudo密码（主机：   192.168.61.41），但输入在并行模式下是不明确的

致命错误：执行任务时一个或多个主机出现故障   '_create_or_update_virtualenv'

中止。执行任务时一个或多个主机出现故障   '_create_or_update_virtualenv'

我已经在服务器和localhost中安装了streamparse，在服务器和localhost上都安装了相同版本和相同版本的lein以及jdk7。

Answer 1

您可以在fabfile.py中添加以下内容（您必须设置env）

from fabric.api import env
env.use_ssh_config = True
env.password = 'server_password' 
from streamparse.ext.fabric import *

Answer 2

如果您尝试将拓扑提交到同一主机中的群集，请在config.json中添加以下行：

{
    "use_ssh_for_nimbus": true,
    "virtualenv_root": "/data/virtualenvs/",
    "use_virtualenv": false
}

另见streamparse/quickstart.rst

Answer 3

通过此问题，您应该编辑ur ~/.ssh/config文件，以便从您将代码提交到Storm集群服务器的客户端进行公共/私有ssl密钥访问。你可以检查你的~/.ssh/config文件是否无法通过密码ssh从你的客户端访问风暴集群中的节点。

在远程Storm集群

3 个答案: