cce密钥管理（对接 dew）-九游平台

插件简介

cce密钥管理（原名dew-provider）插件用于对接(data encryption workshop, dew)。该插件允许用户将存储在集群外部（即专门存储敏感信息的数据加密服务）的凭据挂载至业务pod内，从而将敏感信息与集群环境解耦，有效避免程序硬编码或明文配置等问题导致的敏感信息泄密。

约束与限制

• 数据加密服务包含密钥管理(key management service, kms)、云凭据管理(cloud secret management service，csms)和密钥对管理(key pair service, kps)等服务。当前，该插件仅支持对接其中的云凭据管理服务。
• 允许创建的secretproviderclass对象个数上限：500个。
• 插件卸载时，会同时删除相关的crd资源。即使重装插件，原有的secretproviderclass对象也不可用，请谨慎操作。插件卸载再重装后，若需使用原有的secretproviderclass资源，需重新手动创建。

插件说明

• 基础挂载能力：安装完该插件后，通过创建secretproviderclass对象，在业务pod中声明volume并进行引用，当启动pod时，就会将在secretproviderclass对象中声明的凭据信息挂载至pod内。
• 定时轮转能力：当pod正常运行后，若其在spc中声明的、存储在云凭据管理服务中的凭据发生了更新，通过定时轮转，可以将最新的凭据值刷新至pod内。使用该能力时，需要将凭据的版本指定为”latest”。
• 实时感知spc变化能力：当pod正常运行后，若用户修改了在spc中声明的凭据信息（如新增凭据、改变原有凭据的版本号等），插件可实时感知该变化，并将更新后的凭据刷新至pod内。

安装插件

1. 登录cce控制台，单击集群名称进入集群，单击左侧导航栏的“插件中心”，在右侧找到cce密钥管理（对接dew）插件，单击“安装”。
2. 在安装插件页面，在参数配置栏进行参数配置。参数配置说明如下。

   配置项	参数	参数说明
   凭据同步周期	rotation_poll_interval	轮转时间间隔。单位：分钟，即m（注意不是min）。 轮转时间间隔表示向云凭据管理服务发起请求并获取最新的凭据的周期，合理的时间间隔范围为[1m, 1440m]，默认值为2m。

3. 单击“安装”。

   待插件安装完成后，选择对应的集群，然后单击左侧导航栏的“插件中心”，可在“已安装插件”页签中查看相应的插件。

组件说明

使用volume挂载凭据

1. 创建serviceaccount。
   1. 创建serviceaccount对象，其中声明了允许业务使用的凭据名称，若用户引用了未在此处声明的凭据，则挂载失败，最终导致pod无法运行。

      根据如下模板创建serviceaccount.yaml，在cce.io/dew-resource字段中声明允许业务使用的凭据名称。这里声明了secret_1和secret_2，表示允许业务引用这两个凭据对象。在后续的操作中，若用户在业务中引用了secret_3，则无法通过校验，从而导致无法正常挂载该凭据，最终业务pod将无法运行。

      apiversion: v1
      kind: serviceaccount
      metadata:
        name: nginx-spc-sa
        annotations:
          cce.io/dew-resource: "[\"secret_1\",\"secret_2\"]"  #secrets that allow pod to use

      这里需要明确，此处声明的凭据应确保在凭据管理服务中是存在的，如下图所示。否则，即使通过了校验，最终向凭据管理服务中获取相应凭据的时候也会出错，从而导致pod无法正常运行。

      

   2. 执行如下命令创建serviceaccount对象。

      kubectl apply -f serviceaccount.yaml

   3. 查看serviceaccount对象是否已经正常创建，如下所示：

      $ kubectl get sa
      name       secrets   age
      default         1         18d   # 此为系统默认的serviceaccount对象
      nginx-spc-sa    1         19s   # 此为刚刚创建的serviceaccount对象

      至此，一个名为“nginx-spc-sa”的serviceaccount对象已正常创建。该对象将在后续的业务pod中被引用。

2. 创建secretproviderclass。
   1. secretproviderclass对象用于描述用户感兴趣的凭据信息（比如指定凭据的版本、凭据的名称等），由用户创建，并在业务pod中进行引用。

      根据如下模板创建secretproviderclass.yaml。用户主要关注parameters.objects字段，它是一个数组，用于声明用户想要挂载的凭据信息。

      apiversion: secrets-store.csi.x-k8s.io/v1
      kind: secretproviderclass
      metadata:
        name: spc-test
      spec:
        provider: cce     # 固定为cce
        parameters:
          objects: |
                - objectname: "secret_1"
                  objectversion: "v1"
                  objecttype: "csms"

      参数	参数类型	是否必选	参数说明
      objectname	string	是	凭据名称，需填写serviceaccount中引用的凭据。若同一个secretproviderclass中定义了多个objectname，不允许重名，否则会挂载失败。
      objectalias	string	否	凭据写入到容器内的文件名称。若不指定，则凭据写入到容器内的文件名默认为objectname；若指定，则objectalias与其他凭据的objectname和objectalias均不允许重名，与自身的objectname也不允许重名，否则会挂载失败。
      objecttype	string	是	凭据类型。当前仅支持”csms”类型，其他均为非法输入。
      objectversion	string	是	凭据的版本。 指定某个具体的版本：v1,v2,… 指定最新版本：latest。当指定objectversion为” latest”时，若在云凭据管理服务侧对应的凭据发生了更新，更新后的凭据值将在经过一定时间间隔后（即rotation_poll_interval）刷新至pod内。

   2. 执行如下命令创建secretproviderclass对象。

      kubectl apply -f secretproviderclass.yaml

   3. 查看secretproviderclass对象是否已经正常创建，如下所示：

      $ kubectl get spc
      name   age
      spc-test   20h

      至此，一个名为“spc-test”的secretproviderclass对象已正常创建。该对象将在后续的业务pod中被引用。

3. 创建业务pod。

   这里以创建一个nginx应用为例。

   1. 定义业务负载，在serviceaccountname中引用此前创建好的serviceaccount对象，secretproviderclass中引用此前创建好的spc对象，并在mountpath中指定容器内的挂载路径（这里需注意，用户不应该指定”/”，” /var/run”等特殊目录，否则可能影响容器的正常启动）。

      apiversion: apps/v1
      kind: deployment
      metadata:
        name: nginx-spc
        labels:
          app: nginx
      spec:
        replicas: 1
        selector:
          matchlabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            serviceaccountname: nginx-spc-sa   # 引用上面创建的serviceaccount
            volumes:
              - name: secrets-store-inline
                csi:
                  driver: secrets-store.csi.k8s.io
                  readonly: true
                  volumeattributes:
                    secretproviderclass: "spc-test"  # 引用上面创建的spc
            containers:
              - name: nginx-spc
                image: nginx:alpine
                imagepullpolicy: ifnotpresent
                volumemounts:
                  - name: secrets-store-inline
                    mountpath: "/mnt/secrets-store"  # 定义容器内凭据的挂载路径
                    readonly: true
            imagepullsecrets:
              - name: default-secret

   2. 创建业务pod。

      kubectl apply -f deployment.yaml

   3. 查看pod是否已经正常创建，如下所示：

      $ kubectl get pod
      name                     ready   status   restarts   age
      nginx-spc-67c9d5b594-642np     1/1     running    0            20s

   4. 进入容器，查看指定的凭据是否正常写入。如下所示：

      $ kubectl exec -ti nginx-spc-67c9d5b594-642np -- /bin/bash
      root@nginx-spc-67c9d5b594-642np:/#  
      root@nginx-spc-67c9d5b594-642np:/# cd /mnt/secrets-store/
      root@nginx-spc-67c9d5b594-642np:/mnt/secrets-store# 
      root@nginx-spc-67c9d5b594-642np:/mnt/secrets-store# ls
      secret_1

      可以看到，用户在spc对象中声明的secret_1已正常写入pod。

      此外，还可以通过获取spcpodstatus查看pod与凭据的绑定情况。如下所示：

      $ kubectl get spcps
      name                                                                    age
      nginx-spc-67c9d5b594-642np-default-spc-test   103s
      $ kubectl get spcps nginx-spc-67c9d5b594-642np-default-spc-test -o yaml
      ......
      status:
      mounted: true
      objects:    # 挂载的凭据信息
      - id: secret_1
      version: v1
      podname: nginx-spc-67c9d5b594-642np   # 引用了spc对象的pod
      secretproviderclassname: spc-test               # spc对象
      targetpath: /mnt/paas/kubernetes/kubelet/pods/6dd29596-5b78-44fb-9d4c-a5027c420617/volumes/kubernetes.io~csi/secrets-store-inline/mount

使用密钥挂载凭据

cce密钥管理（dew-provider）插件版本要求1.1.1及以上。

1. 创建serviceaccount。
   1. 创建serviceaccount对象，其中声明了允许业务使用的凭据名称，若用户引用了未在此处声明的凭据，则挂载失败，最终导致pod无法运行。

      根据如下模板创建serviceaccount.yaml，在cce.io/dew-resource字段中声明允许业务使用的凭据名称。这里声明了secret_1和secret_2，表示允许业务引用这两个凭据对象。在后续的操作中，若用户在业务中引用了secret_3，则无法通过校验，从而导致无法正常挂载该凭据，最终业务pod将无法运行。

      apiversion: v1
      kind: serviceaccount
      metadata:
        name: nginx-spc-sa
        annotations:
          cce.io/dew-resource: "[\"secret_1\",\"secret_2\"]"  #secrets that allow pod to use

      这里需要明确，此处声明的凭据应确保在凭据管理服务中是存在的，如下图所示。否则，即使通过了校验，最终向凭据管理服务中获取相应凭据的时候也会出错，从而导致pod无法正常运行。

      

   2. 执行如下命令创建serviceaccount对象。

      kubectl apply -f serviceaccount.yaml

   3. 查看serviceaccount对象是否已经正常创建，如下所示：

      $ kubectl get sa
      name       secrets   age
      default         1         18d   # 此为系统默认的serviceaccount对象
      nginx-spc-sa    1         19s   # 此为刚刚创建的serviceaccount对象

      至此，一个名为“nginx-spc-sa”的serviceaccount对象已正常创建。该对象将在后续的业务pod中被引用。

2. 创建secretproviderclass。
   1. 根据如下模板创建secretproviderclass.yaml。

      apiversion: secrets-store.csi.x-k8s.io/v1
      kind: secretproviderclass
      metadata:
        name: nginx-deployment-spc-k8s-secrets
      spec:
        provider: cce
        parameters: 
          # 引用凭据管理服务中的凭据
          objects: |
            - objectname: "secret_1"
              objecttype: "csms"
              objectversion: "latest"
              jmespath:
                - path: username
                  objectalias: dbusername
                - path: password
                  objectalias: dbpassword
        # 根据凭据中的内容创建密钥，然后在pod中进行挂载使用
        secretobjects:                
          - secretname: my-secret-01
            type: opaque
            data:
              - objectname: dbusername
                key: db_username_01
              - objectname: dbpassword
                key: db_password_01

      表2 objects参数说明

      参数	参数类型	是否必选	参数说明
      objectname	string	是	凭据名称，需填写serviceaccount中引用的凭据。若同一个secretproviderclass中定义了多个objectname，不允许重名，否则会挂载失败。
      objecttype	string	是	凭据类型。当前仅支持“csms”类型，其他均为非法输入。
      objectversion	string	是	凭据的版本。 指定某个具体的版本：v1,v2,… 指定最新版本：latest。当指定objectversion为” latest”时，若在云凭据管理服务侧对应的凭据发生了更新，更新后的凭据值将在经过一定时间间隔后（即rotation_poll_interval）刷新至pod内。
      jmespath	array of object	是	是一种从json格式的对象中提取key-value的工具，cce密钥管理插件使用该工具支持secret挂载功能。 path：填写dew服务凭据中的key。 说明： key不能带有 、-、{}、()等特殊符号。 objectalias：挂载到pod中的文件名，该值需要和secretobjects中定义的objectname保持一致。

      表3 secretobjects参数说明

      参数	参数类型	是否必选	参数说明
      secretname	string	是	密钥名称。
      type	string	是	密钥类型。
      data	array of object	是	objectname：挂载到pod中的文件名，该值需要和objects中定义的objectalias保持一致。 key：密钥中的key，在pod中可使用key值对加密内容进行引用。

   2. 执行如下命令创建secretproviderclass对象。

      kubectl apply -f secretproviderclass.yaml

   3. 查看secretproviderclass对象是否已经正常创建，如下所示：

      $ kubectl get spc
      name   age
      nginx-deployment-spc-k8s-secrets   20h

3. 创建业务pod。这里以创建一个nginx应用为例。

   apiversion: apps/v1
   kind: deployment
   metadata:
     name: nginx-deployment-k8s-secrets
     labels:
       app: nginx-k8s-secrets
   spec:
     replicas: 1
     selector:
       matchlabels:
         app: nginx-k8s-secrets
     template:
       metadata:
         labels:
           app: nginx-k8s-secrets
       spec:
         serviceaccountname: nginx-spc-sa   # 引用上面创建的serviceaccount
         containers:
         - name: nginx-deployment-k8s-secrets
           image: nginx
           volumemounts:   # 在容器中挂载密钥
             - name: secrets-store-inline   # 需要挂载的volume名称
               mountpath: "/mnt/secrets"    # 需要挂载的容器路径
               readonly: true
           env:    # 在环境变量中引用密钥
             - name: db_username_01      # 工作负载中的变量名
               valuefrom:
                 secretkeyref:
                   name: my-secret-01    # spc中定义的密钥名称
                   key: db_username_01   # spc中定义的密钥key值
             - name: db_password_01
               valuefrom:
                 secretkeyref:
                   name: my-secret-01
                   key: db_password_01
         imagepullsecrets:
           - name: default-secret
         volumes:    # 使用spc中定义的密钥创建volume
           - name: secrets-store-inline  # 自定义的volume名称
             csi:
               driver: secrets-store.csi.k8s.io
               readonly: true
               volumeattributes:
                 secretproviderclass: nginx-deployment-spc-k8s-secrets   # 上一步中创建的spc名称

4. 验证结果。

   $ kubectl get secrets
   name             type                             data   age
   default-secret   kubernetes.io/dockerconfigjson   1      33d
   my-secret-01     opaque                           2      1h

   结果表明已使用spc对象中声明的凭据secret_1创建一个密钥my-secret-01。

定时轮转

在插件使用说明，通过使用该插件，用户可完成基本的凭据挂载功能，即能够将存储在凭据管理服务中的凭据写入到pod内。

若将在spc对象中声明的凭据版本改为”latest”，如下所示：

apiversion: secrets-store.csi.x-k8s.io/v1
kind: secretproviderclass
metadata:
  name: spc-test
spec:
  provider: cce
  parameters:
    objects: |
          - objectname: "secret_1"
            objectversion: "latest"  # change "v1"to "latest"
            objecttype: "csms"

更新该spc对象后，插件将周期性地向凭据管理服务发起请求，获取凭据secret_1最新版本的值，并将其刷新至引用了该spc对象的pod内。此处插件周期性发起请求的时间间隔由安装插件时设置的rotation_poll_interval参数确定。

实时感知spc变化

在使用volume挂载凭据、定时轮转的演示中，其实已经使用到了实时感知spc变化的能力。为了演示说明，在spc对象中新增一个凭据secret_2，如下所示：

apiversion: secrets-store.csi.x-k8s.io/v1
kind: secretproviderclass
metadata:
  name: spc-test
spec:
  provider: cce
  parameters:
    objects: |
          - objectname: "secret_1"
            objectversion: "latest"
            objecttype: "csms"
          - objectname: "secret_2"
            objectversion: "v1"
            objecttype: "csms"

更新该spc对象后，新增的secret_2将很快挂载至引用了该spc对象的pod内。

查看组件日志

查看插件的pod

$ kubectl get pod -n kube-system
name                          ready   status      restarts   age
csi-secrets-store-76tj2       3/3     running     0           11h
dew-provider-hm5fq            1/1     running     0           11h

查看dew-provider组件pod日志

$ kubectl logs dew-provider-hm5fq -n kube-system
…日志信息略…
…

查看csi-secrets-store组件pod日志，由于csi-secrets-store组件的pod包含多个容器，在查看日志信息时，需通过”-c”命令指定某个容器。其中，secrets-store容器作为该插件的主业务容器，其包含了主要的日志信息。

$ kubectl logs csi-secrets-store-76tj2 -c secrets-store -n kube-system
…日志信息略…
…

版本记录