如何在多台计算机上使用并行以使任务列表仅执行一次？

Question

我正在尝试使用parallel在多台服务器上使用ssh，实际上我想做的是：

    parallel -s computer_list.txt < command.txt

在server_list.txt中有服务器列表，在command.txt中是

    fist_job.sh
    second_job.sh
    ...

但是我不希望所有服务器都执行列表中的所有作业，我希望每个*.sh在随机服务器上仅执行一次，它们都可以访问所需的所有文件执行每个命令。

换句话说，我正在寻找的是以下内容的一种概括：

   parallel < command.txt

Answer 1

我想你可以做这样的事情：

servers.txt

server1
server2
server3
server4
serverA
serverB
raspi10
raspi11
raspi12
raspi13
supercomputerA
supercomputerB

jobs.txt

job1
job2
job3
job4
job5
job6

然后使用以下bash脚本：

#!/bin/bash

# Read in list of jobs into array
jobs=( $(<jobs.txt) )

# Get randomised list of servers
servers=( $( gshuf servers.txt) )

# Assign each job to a server and execute in parallel
for ((i==0;i<${#jobs[@]};i++)) ; do
   echo "ssh \"${servers[i]}\" \"${jobs[i]}\""
done | parallel

示例

这将为 GNU Parallel 生成以下输入：

ssh "raspi12" "job1"
ssh "serverA" "job2"
ssh "serverB" "job3"
ssh "raspi13" "job4"
ssh "server3" "job5"
ssh "supercomputerB" "job6"

---

注释：

gshuf是GNU shuf（随机播放）在Mac上的安装方式。在其他计算机上，它可能称为shuf。

Answer 2

这对我有用：

parallel --slf computer_list.txt < command.txt

我使用版本20180822。