# k8s 示例：使用 Stateful Sets 部署 Cassandra

本教程展示了如何在 k8s 上开发一个云原生的 Cassandra deployment。在这个实例中，Cassandra 使用了一个自定义的 SeedProvider 来发现新加入集群的节点。

在集群环境中部署类似 Cassandra 的有状态（stateful）应用可能是具有挑战性的。StatefulSets 极大的简化了这个过程。请阅读 StatefulSets 获取更多关于此教程中使用的这个特性的信息。

Cassandra Docker

Pod 使用了来自 Google 容器注册表（container registry）的 gcr.io/google-samples/cassandra:v12 镜像。这个 docker 镜像基于 debian:jessie 并包含 OpenJDK 8。这个镜像包含了来自 Apache Debian 源的标准 Cassandra 安装。您可以通过环境变量来改变插入到 cassandra.yaml 中的值。

ENV VAR	DEFAULT VALUE
CASSANDRA_CLUSTER_NAME	‘Test Cluster’
CASSANDRA_NUM_TOKENS	32
CASSANDRA_RPC_ADDRESS	0.0.0.0

# Objectives

创建并验证 Cassandra headless Services。
使用 StatefulSet 创建 Cassandra 环（Cassandra ring）。
验证 StatefulSet。
修改 StatefulSet。
删除 StatefulSet 和它的 Pod。

# Before you begin

为了完成本教程，你应该对 Pod、 Service 和 StatefulSet 有基本的了解。此外，你还应该：

安装并配置 kubectl 命令行工具
下载 cassandra-service.yaml 和 cassandra-statefulset.yaml
有一个支持（这些功能）并正常运行的 k8s 集群

注意：如果你还没有集群，请查阅快速入门指南。

# Minikube 附加安装说明

小心： Minikube 默认配置 1024MB 内存和 1 CPU，这在本例中将导致资源不足。

为了避免这些错误，请这样运行 minikube：

minikube start --memory 5120 --cpus=4

# 创建 Cassandra Headless Service

k8s Service 描述了一个执行相同任务的 Pod 集合。

下面的 Service 用于在集群内部的 Cassandra Pod 和客户端之间进行 DNS 查找。

在下载清单文件的文件夹下启动一个终端窗口。
使用 cassandra-service.yaml 文件创建一个 Service，用于追踪所有的 Cassandra StatefulSet 节点。
```
kubectl create -f cassandra-service.yaml
```

cassandra/cassandra-service.yaml
apiVersion: v1 kind: Service metadata: labels: app: cassandra name: cassandra spec: clusterIP: None ports: - port: 9042 selector: app: cassandra

# 验证（可选）

获取 Cassandra Service。

kubectl get svc cassandra

响应应该像这样：

NAME        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
cassandra   None         <none>        9042/TCP   45s

如果返回了任何其它消息，这个 service 就没有被成功创建。请查阅调试 Services，了解常见问题。

# 使用 StatefulSet 创建 Cassandra 环

上文中的 StatefulSet 清单文件将创建一个由 3 个 pod 组成的 Cassandra 环。

注意：本例中的 Minikube 使用默认 provisioner。请根据您使用的云服务商更新下面的 StatefulSet。

如有必要请修改 StatefulSet。
使用 cassandra-statefulset.yaml 文件创建 Cassandra StatefulSet。
```
kubectl create -f cassandra-statefulset.yaml
```

cassandra/cassandra-statefulset.yaml
apiVersion: "apps/v1beta1" kind: StatefulSet metadata: name: cassandra spec: serviceName: cassandra replicas: 3 template: metadata: labels: app: cassandra spec: containers: - name: cassandra image: gcr.io/google-samples/cassandra:v12 imagePullPolicy: Always ports: - containerPort: 7000 name: intra-node - containerPort: 7001 name: tls-intra-node - containerPort: 7199 name: jmx - containerPort: 9042 name: cql resources: limits: cpu: "500m" memory: 1Gi requests: cpu: "500m" memory: 1Gi securityContext: capabilities: add: - IPC_LOCK lifecycle: preStop: exec: command: ["/bin/sh", "-c", "PID=$(pidof java) && kill $PID && while ps -p $PID > /dev/null; do sleep 1; done"] env: - name: MAX_HEAP_SIZE value: 512M - name: HEAP_NEWSIZE value: 100M - name: CASSANDRA_SEEDS value: "cassandra-0.cassandra.default.svc.cluster.local" - name: CASSANDRA_CLUSTER_NAME value: "K8Demo" - name: CASSANDRA_DC value: "DC1-K8Demo" - name: CASSANDRA_RACK value: "Rack1-K8Demo" - name: CASSANDRA_AUTO_BOOTSTRAP value: "false" - name: POD_IP valueFrom: fieldRef: fieldPath: status.podIP readinessProbe: exec: command: - /bin/bash - -c - /ready-probe.sh initialDelaySeconds: 15 timeoutSeconds: 5 # These volume mounts are persistent. They are like inline claims, # but not exactly because the names need to match exactly one of # the stateful pod volumes. volumeMounts: - name: cassandra-data mountPath: /cassandra_data # These are converted to volume claims by the controller # and mounted at the paths mentioned above. # do not use these in production until ssd GCEPersistentDisk or other ssd pd volumeClaimTemplates: - metadata: name: cassandra-data annotations: volume.beta.kubernetes.io/storage-class: fast spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 1Gi --- kind: StorageClass apiVersion: storage.k8s.io/v1beta1 metadata: name: fast provisioner: k8s.io/minikube-hostpath parameters: type: pd-ssd

cassandra/cassandra-statefulset.yaml

apiVersion: "apps/v1beta1" kind: StatefulSet metadata: name: cassandra spec: serviceName: cassandra replicas: 3 template: metadata: labels: app: cassandra spec: containers: - name: cassandra image: gcr.io/google-samples/cassandra:v12 imagePullPolicy: Always ports: - containerPort: 7000 name: intra-node - containerPort: 7001 name: tls-intra-node - containerPort: 7199 name: jmx - containerPort: 9042 name: cql resources: limits: cpu: "500m" memory: 1Gi requests: cpu: "500m" memory: 1Gi securityContext: capabilities: add: - IPC_LOCK lifecycle: preStop: exec: command: ["/bin/sh", "-c", "PID=$(pidof java) && kill $PID && while ps -p $PID > /dev/null; do sleep 1; done"] env: - name: MAX_HEAP_SIZE value: 512M - name: HEAP_NEWSIZE value: 100M - name: CASSANDRA_SEEDS value: "cassandra-0.cassandra.default.svc.cluster.local" - name: CASSANDRA_CLUSTER_NAME value: "K8Demo" - name: CASSANDRA_DC value: "DC1-K8Demo" - name: CASSANDRA_RACK value: "Rack1-K8Demo" - name: CASSANDRA_AUTO_BOOTSTRAP value: "false" - name: POD_IP valueFrom: fieldRef: fieldPath: status.podIP readinessProbe: exec: command: - /bin/bash - -c - /ready-probe.sh initialDelaySeconds: 15 timeoutSeconds: 5 # These volume mounts are persistent. They are like inline claims, # but not exactly because the names need to match exactly one of # the stateful pod volumes. volumeMounts: - name: cassandra-data mountPath: /cassandra_data # These are converted to volume claims by the controller # and mounted at the paths mentioned above. # do not use these in production until ssd GCEPersistentDisk or other ssd pd volumeClaimTemplates: - metadata: name: cassandra-data annotations: volume.beta.kubernetes.io/storage-class: fast spec: accessModes: [ "ReadWriteOnce" ] resources: requests: storage: 1Gi --- kind: StorageClass apiVersion: storage.k8s.io/v1beta1 metadata: name: fast provisioner: k8s.io/minikube-hostpath parameters: type: pd-ssd

# 验证 Cassandra StatefulSet

获取 Cassandra StatefulSet：

kubectl get statefulset cassandra

响应应该是

NAME        DESIRED   CURRENT   AGE
cassandra   3         0         13s

StatefulSet 资源顺序的部署 pod。

获取 pod，查看顺序创建的状态：

kubectl get pods -l="app=cassandra"

响应应该像是

NAME          READY     STATUS              RESTARTS   AGE
cassandra-0   1/1       Running             0          1m
cassandra-1   0/1       ContainerCreating   0          8s

注意：部署全部三个 pod 可能需要 10 分钟时间。

一旦所有 pod 都已经部署，相同的命令将返回：

NAME          READY     STATUS    RESTARTS   AGE
cassandra-0   1/1       Running   0          10m
cassandra-1   1/1       Running   0          9m
cassandra-2   1/1       Running   0          8m

运行 Cassandra nodetool 工具，显示环的状态。

kubectl exec cassandra-0 -- nodetool status

响应为：

Datacenter: DC1-K8Demo
======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
UN  172.17.0.5  83.57 KiB  32           74.0%             e2dd09e6-d9d3-477e-96c5-45094c08db0f  Rack1-K8Demo
UN  172.17.0.4  101.04 KiB  32           58.8%             f89d6835-3a42-4419-92b3-0e62cae1479c  Rack1-K8Demo
UN  172.17.0.6  84.74 KiB  32           67.1%             a6a1e8c2-3dc5-4417-b1a0-26507af2aaad  Rack1-K8Demo

# 修改 Cassandra StatefulSet

使用 kubectl edit 修改 Cassandra StatefulSet 的大小。

运行下面的命令：

kubectl edit statefulset cassandra

这个命令将在终端中打开一个编辑器。您需要修改 replicas 字段一行。

注意：以下示例是 StatefulSet 文件的摘录。

 # Please edit the object below. Lines beginning with a '#' will be ignored,
 # and an empty file will abort the edit. If an error occurs while saving this file will be
 # reopened with the relevant failures.
 #
 apiVersion: apps/v1beta1
 kind: StatefulSet
 metadata:
  creationTimestamp: 2016-08-13T18:40:58Z
  generation: 1
  labels:
    app: cassandra
  name: cassandra
  namespace: default
  resourceVersion: "323"
  selfLink: /apis/apps/v1beta1/namespaces/default/statefulsets/cassandra
  uid: 7a219483-6185-11e6-a910-42010a8a0fc0
 spec:
  replicas: 3

修改副本数量为 4 并保存清单文件。

这个 StatefulSet 现在包含 4 个 pod。

获取 Cassandra StatefulSet 来进行验证：

kubectl get statefulset cassandra

响应应该为：

NAME        DESIRED   CURRENT   AGE
cassandra   4         4         36m

# Cleaning up

删除或缩容 StatefulSet 不会删除与其相关联的 volume。这优先保证了安全性：您的数据比其它所有自动清理的 StatefulSet 资源都更宝贵。

警告：取决于 storage class 和回收策略（reclaim policy），删除 Persistent Volume Claims 可能导致关联的 volume 也被删除。绝对不要假设在 volume claim 被删除后还能访问数据。

运行下面的命令，删除 StatefulSet 中所有能内容：

grace=$(kubectl get po cassandra-0 -o=jsonpath='{.spec.terminationGracePeriodSeconds}') \
  && kubectl delete statefulset -l app=cassandra \
  && echo "Sleeping $grace" \
  && sleep $grace \
  && kubectl delete pvc -l app=cassandra

运行下面的命令，删除 Cassandra Service。
```
kubectl delete service -l app=cassandra
```

← StatefulSet 基本使用调试 Service →