Question

我工作的公司最近开始使用Concourse CI来满足我们所有的CI需求。在目前，我的一个任务包括一个脚本scp和ssh进入我们的aws ec2实例并配置这些服务器的任务。但是，我遇到的问题是获取ssh到这些实例的私钥。这里讨论的一种方法（https://concourse-ci.org/fly-set-pipeline.html）是通过变量传递密钥。在我的脚本中，我接受传入的变量并将其回显到一个新的.pem文件，并将权限设置为600.当我只回显变量并稍后cat新的.pem文件时，它们看起来与原始文件完全相同.pem文件。我试图ssh的容器是标准的ubuntu docker镜像。

当我尝试将此文件用于scp和ssh时，我遇到了关于输入密码短语的提示。如果我尝试用原始文件ssh我根本没有得到这个提示。有什么我想念的吗？我非常感谢对此问题的一些见解。

pipeline.yml

jobs:
- name: edge-priceconfig-deploy
  plan:
  - aggregate:
    - get: ci-git
    - get: pricing-config
  trigger: true
  - task: full-price-deploy
    file: ci-git/ci/edge/edge-price-config-task.yml
    params:
      USER_AND_SERVER: {{edge_user_and_server}}
      DEPLOY_KEY_PAIR: {{deploy_key_pair}}

task.yml

---
platform: linux

image_resource:  
  type: docker-image
  source: {repository: ubuntu}

inputs:
- name: ci-git
- name: pricing-config

run:
  path: ./ci-git/ci/edge/edge-priceconfig-deploy.sh

task.sh

#!/bin/bash
touch DeployKeyPair.pem

echo $DEPLOY_KEY_PAIR
echo $DEPLOY_KEY_PAIR > DeployKeyPair.pem
cat DeployKeyPair.pem

apt-get update && apt-get -y install sudo
sudo apt-get -y install openssh-client
sudo chmod 400 ci-git/key/DeployKeyPair.pem
sudo chmod 600 DeployKeyPair.pem

mkdir company-price-config-edge
mv pricing-config/fsconfig/conf/com.company.api.v1.pricing/*.xlsx company-price-config-edge/

commandstr="sudo rm -f /etc/company/edge/fsconfig/*xlsx; \
        ls -l /etc/company/edge/fsconfig; \
        sudo mv /home/ec2-user/company-price-config-edge/*xlsx /etc/company/edge/fsconfig/; \
        sudo rm -rf /home/ec2-user/company-price-config-edge;"


scp_link="$USER_AND_SERVER:/home/ec2-user/"
scp_link="$(echo $scp_link | tr -d ' ')"
echo $scp_link

sudo echo -ne '\n' | scp -r -oStrictHostKeyChecking=no -i DeployKeyPair.pem company-price-config-edge $scp_link
sudo ssh -oStrictHostKeyChecking=no -i DeployKeyPair.pem $USER_AND_SERVER $commandstr

credentials.yml

username: |
  username

password: |
  password

access_token: |
  token

ci_scripts_github: |
  ci-script-link

edge_user_and_server: |
  server.com

staging_user_and_server: |
  staging

training_user_and_server: |
  training

production_user_and_server: |
  production

deploy_key_pair:
  -----BEGIN RSA PRIVATE KEY-----
  ...
  -----END RSA PRIVATE KEY-----

Answer 1

两件事。

一：您需要声明任务正在使用这些特定的环境变量

task.yml：

---
platform: linux

image_resource:  
  type: docker-image
  source: {repository: ubuntu}

inputs:
- name: ci-git
- name: pricing-config

params:
  USER_AND_SERVER: 
  DEPLOY_KEY_PAIR:

run:
  path: ./ci-git/ci/edge/edge-priceconfig-deploy.sh

二：我认为您需要在credentials.yml文件中添加|。

credentials.yml：

deploy_key_pair: |
  -----BEGIN RSA PRIVATE KEY-----
  ...
  -----END RSA PRIVATE KEY-----

Answer 2

今天遇到同样的问题并带我去弄清楚发生了什么。

您将私钥指定为多行yaml属性，但当它被回显到文件时，它会删除换行符并用空格替换它们，所以您的密钥是一个大的单行文件。

我必须使用sed用换行符替换空格才能让它工作

echo $DEPLOY_KEY_PAIR | sed -e 's/$KEY-----$\s/\1\n/g; s/\s$-----END$/\n\1/g' | sed -e '2s/\s\+/\n/g' > DeployKeyPair.pem

第一个sed命令使用两组具有相同目的的替换组

第一个组 - 抓取标题文字并将其分解为新行

s/$KEY-----$\s/\1\n/g

$KEY-----$将标题块的最后一部分放入捕获组
\s匹配空白
/1\n/g将捕获组（＃1）重新放入，然后添加换行符
/g我忘了删除不必要的全局捕获

第二个 sed组执行相同操作，但抓取空间和页脚文本的第一部分以将其放在新行上

第三个组在空格上进行全局替换，并将其替换为换行符。这必须是一个单独的命令，因此第一个命令的处理完成，然后是一个3行文件/流

'2s/\s\+/\n/g'

2s/仅在第2行执行更换
\s\+匹配任何空白
\n替换为换行符
/g全局匹配以获取每个实例

Answer 3

您还可以使用密钥库集成，例如credhub，有大厅。

请参阅https://docs.pivotal.io/p-concourse/credential-management.html

通过Fly Cli传递私钥

3 个答案: