如何使用Cloud Init安装未格式化的EBS卷

时间:2018-04-23 12:07:29

标签: linux amazon-ec2 user-data cloud-init amazon-linux

上下文

我正在使用https://wiki.jenkins.io/display/JENKINS/Amazon+EC2+Plugin用于jenkins,它允许我在AWS EC2中动态配置新的云实例作为构建从属。

我正在推出ami-d834aba1(亚马逊Linux 2017.09.1)。

该插件也支持提供用户数据和块设备映射,目前我在阅读https://cloudinit.readthedocs.io/en/latest/后提供这样的配置

用户数据

#cloud-config
repo_update: true
repo_upgrade: all
package_upgrade: true

bootcmd:
 - [ cloud-init-per, once, mkfs, -t, ext4, /dev/nvme1n1 ]

fs_setup:
 - cmd: mkfs -t %(filesystem)s -L %(label)s %(device)s
   label: jenkins
   filesystem: 'ext4'
   overwrite: false
   device: '/dev/nvme1n1'

mounts:
 - [ /dev/nvme1n1, /jenkins, "ext4", "defaults,nofail", "0", "2" ]

users:
 - default
 - name: jenkins
   homedir: /jenkins
   lock_passwd: true
   ssh_authorized_keys:
     - a-key

块设备映射

/dev/sdd=:100:true:gp2::encrypted

期望的行为

该实例将启动并附加一个新的100GB加密EBS卷,其格式为ext4并挂载在/jenkins作为jenkins用户的主目录。

观察到的行为

实例启动后,将创建100GB加密EBS卷并将其附加到EC2实例(显示为正在使用并附加在AWS控制台中)。然而,

1)df -h不显示文件系统。

2)     cat /etc/fstab /dev/nvme1n1 /jenkins ext4 defaults,nofail,comment=cloudconfig 0 2确实显示了它

3)sudo file -s /dev/nvme1n1 /dev/nvme1n1: data将格式显示为data格式而不是ext4

4)sudo mount -a由于文件系统不是ext4而失败。

手动黑客

如果我在启动后手动SSH到机器并运行:

sudo mkfs -t ext4 /dev/nvme1n1
mke2fs 1.42.12 (29-Aug-2014)
Creating filesystem with 26214400 4k blocks and 6553600 inodes
Filesystem UUID: 7a434f7a-c048-4c3d-8098-b810e2ff8f84
Superblock backups stored on blocks: 
    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
    4096000, 7962624, 11239424, 20480000, 23887872

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done   

然后sudo mount -a似乎挂载音量。

问题

有没有办法让设备自动格式化和安装?我试过和没有

bootcmd: - [ cloud-init-per, once, mkfs, -t, ext4, /dev/nvme1n1 ]

理想情况下,它会在用户创建之前发生,因为新用户的主目录将在这个新安装上。

如果实例停止并启动/重新启动,我不希望在启动时再次重新格式化时理想地丢失所有数据。

4 个答案:

答案 0 :(得分:3)

Amazon Linux上的

cloud-init 不支持fs_setup模块。因此,您的磁盘未格式化。此外,为用户创建了主目录/ jenkins,并将其用作安装点。这将隐藏主目录。

我建议:

bootcmd:
 - test -z "$(blkid /dev/nvme1n1)" && mkfs -t ext4 -L jenkins /dev/nvme1n1
 - mkdir -p /jenkins

mounts:
 - [ "/dev/nvme1n1", "/jenkins", "ext4", "defaults,nofail", "0", "2" ]

runcmd:
 - useradd -m -b /jenkins jenkins 

答案 1 :(得分:0)

我没有弄清楚如何使用默认的AMI和云初始化脚本来实现这一点。

我已经通过创建我自己的AMI解决了这个问题,我希望AMI具有加密的EBS卷。现在我只是通过ID启动这个AMI,而不用担心格式化EBS,附加,安装等。

它更简单,需要更少的配置。然而,最大的缺点是当新的基础AMI问世时,我不能简单地将AMI ID更新为最新版本。我需要创建一个自己的新基础AMI。

不理想,但它有效。如果有人知道如何“正确”这样做,我想听听更多关于它的事情。

答案 2 :(得分:0)

神奇的x-systemd.makefs fstab选项可在cloud-init中使用。如果设备尚无文件系统,则系统安装单元将在安装前自动格式化为指定的文件系统(请勿使用auto)。

注意:使用mount手动挂载不会触发格式设置,而是直接通过systemd(systemctl start mnt-foo.mount)或以单位依赖性(请参阅{{3 }})。

请参见https://www.freedesktop.org/software/systemd/man/systemd.unit.html

答案 3 :(得分:0)

您可以在启动 EC2 实例时使用用户数据脚本轻松完成此操作。这是一个示例用户脚本:

# make a directory for a drive
sudo mkdir /data

# format disk
yes | sudo mkfs.ext4 /dev/sdb

# mount it
sudo mount /dev/sdb /data

# persist
uuid=$(sudo blkid /dev/sdb | sed -n 's/.*UUID=\"\([^\"]*\)\".*/\1/p')
sudo bash -c "echo 'UUID=${uuid}     /data       ext4   defaults' >> /etc/fstab"