Question

我尝试使用storageClass使用Ceph Cluster设置我的Kubernetescluster，这样每个PVC都会在ceph集群内自动创建一个新的PV。

但它不起作用。我已经尝试了很多并阅读了大量的文档和教程，但无法弄清楚，出了什么问题。

我为ceph管理员用户和另一个用户kube创建了2个秘密，我使用此命令创建了这个用户，以授予对ceph osd池的访问权。

创建池： sudo ceph osd pool create kube 128

创建用户： sudo ceph auth get-or-create client.kube mon 'allow r' \ osd 'allow class-read object_prefix rbd_children, allow rwx pool=kube' \ -o /etc/ceph/ceph.client.kube.keyring

之后我导出了两个密钥并将它们转换为Base64： sudo ceph auth get-key client.admin | base64和sudo ceph auth get-key client.kube | base64 我在secret.yaml中使用了这些值来创建kubernetes秘密。

apiVersion: v1
kind: Secret
type: "kubernetes.io/rbd"
metadata:
  name: ceph-secret
data:
   key: QVFCb3NxMVpiMVBITkJBQU5ucEEwOEZvM1JlWHBCNytvRmxIZmc9PQo=

另一个名为ceph-user-secret。

然后我创建了一个存储类来使用ceph集群

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: standard
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"
provisioner: kubernetes.io/rbd

parameters:
  monitors: publicIpofCephMon1:6789,publicIpofCephMon2:6789
  adminId: admin
  adminSecretName: ceph-secret
  pool: kube

  userId: kube
  userSecretName: ceph-kube-secret

  fsType: ext4
  imageFormat: "2"
  imageFeatures: "layering"

为了测试我的设置，我创建了一个PVC

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc-eng
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi

但它陷入了暂挂状态：

#kubectl get pvc
NAME      STATUS    VOLUME    CAPACITY   ACCESSMODES   STORAGECLASS   AGE
pvc-eng   Pending                                      standard       25m

此外，在ceph kube池内没有创建图像。您对如何调试此问题有任何建议吗？

我尝试在所有kubernetes节点上安装ceph-common ubuntu软件包。我用k＆amp; T提供的图像切换了kube-controller-manager docker镜像，其中包括ceph-common软件包。

https://github.com/att-comdev/dockerfiles/tree/master/kube-controller-manager

网络很好，我可以从一个pod和每个kubernetes主机中访问我的ceph集群。

如果有人有任何想法，我会很高兴的！

Answer 1

您必须使用annotation: ReadWriteOnce。正如您所看到的那样https://kubernetes.io/docs/concepts/storage/persistent-volumes/（持久卷部分）RBD设备不支持ReadWriteMany模式。如果您需要通过几个pod从PV读取和写入数据，请选择不同的卷插件（例如CephFS）。

Answer 2

作为已接受答案的扩展....

RBD是远程块设备。即外部硬盘驱动器（如iSCSI）。文件系统由客户端容器解释，因此只能由单个用户写入，否则会发生损坏。

CephFS是类似于NFS或SMB / CIFS的网络感知文件系统。这样就可以多次写入不同的文件。文件系统由Ceph服务器解释，因此可以接受来自多个客户端的写入。

Kubernetes Ceph StorageClass具有动态配置功能

2 个答案: