敬请业界专家大佬不吝指教

• 外部访问安全协议，选择PLAINTEXT, SASL_PLAINTEXT, SASL_SSL和 SSL中的哪种方式加密认证方式，
• 数据、
• 外部访问使用了 NodePort 模式
• 默认 StorageClass 使用了 NFS
• 没有考虑数据持久化的配置

对于计划在生产环境部署的用户，我建议详细参考 Bitnami 官方文档，以获取更全面的配置指导和最佳实践。为了确保过程的顺利和提高成功几率，以下部署配置进行了适度简化，某些配置并不符合生产环境的标准。

集群内消费者侧：集群内的消费者，同样能获取外部生产者产生的数据。借鉴，但严禁直接用于生产环境。

实战服务器配置(架构 1:1 复刻小规模生产环境，配置略有不同)

实战环境涉及软件版本信息

• 操作系统：openEuler 22.03 LTS SP3 x86_64
• KubeSphere：v3.4.1
• Kubernetes：v1.28.8
• KubeKey: v3.1.1
• Bitnami Kafka Helm Charts：29.3.13
• Kafka： 3.7.1

1. 前提条件

目前在 K8s 集群部署 Kafka 的主流方案有以下几种：

• 手写资源配置清单（麻烦，涉及的组件、
  • StatefulSet（1个）

  

  • Services（5个）

  

  3. 验证测试 Kafka 服务可用性

  分别在 K8s 集群内和集群外验证 Kafka 服务的可用性。思考，本文选择采用 Bitnami 的 Kafka Helm chart 进行部署。生产环境务必开启认证。

  3.1 K8s 集群内部验证

  在 K8s 集群内的验证过程，可以参考 Helm 部署 Kafka 时给出的提示信息。

  本文档将详细阐述如何利用 Helm 这一强大的工具，快速而高效地在 K8s 集群上安装并配置一个 Kafka 集群。

  kubectl get pods -n opsxlab

  安装成功后，输出结果如下 :

  $ kubectl get pods -n opsxlabNAME                         READY   STATUS    RESTARTS   AGEopsxlab-kafka-controller-0   1/1     Running   0          1m17sopsxlab-kafka-controller-1   1/1     Running   0          1m17sopsxlab-kafka-controller-2   1/1     Running   0          1m17s

  KubeSphere 管理控制台查看部署的组件信息。

  kafka-console-consumer.sh \  --bootstrap-server opsxlab-kafka.opsxlab.svc.cluster.local:9092 \  --topic test \  --from-beginning

  5. 生产并消费数据测试

  在生产者一侧随便输入测试数据，观察消费者一侧是否正确收到信息。Ingress

• 内否启用内置的监控 Metrics
• 是否利用 Helm 生成 Kubectl 可用的资源配置清单，离线部署

2. 使用 Helm 安装 Kafka 集群

2.1 安装 Kafka Helm Chart

• 添加 Kafka Helm repository

helm repo add bitnami https://charts.bitnami.com/bitnami

• 更新本地 charts

helm repo update bitnami                

2.2 安装 Kafka

• 官方默认安装命令（仅供参考，本文未用）

helm install my-release oci://registry-1.docker.io/bitnamicharts/kafka

• 按规划设置自定义配置项，执行下面的安装命令：

helm install opsxlab bitnami/kafka \  --namespace opsxlab --create-namespace \  --set replicaCount=3 \  --set global.imageRegistry="registry.opsxlab.cn:8443" \  --set global.defaultStorageClass="nfs-sc" \  --set externalAccess.enabled=true \  --set externalAccess.controller.service.type=NodePort \  --set externalAccess.controller.service.nodePorts[0]='31211' \  --set externalAccess.controller.service.nodePorts[1]='31212' \  --set externalAccess.controller.service.nodePorts[2]='31213' \  --set externalAccess.controller.service.useHostIPs=true \  --set listeners.client.protocol=PLAINTEXT \  --set listeners.external.protocol=PLAINTEXT

自定义配置说明：

• 指定并自动创建命名空间 opsxlab
• 设置组件的镜像地址，本文为了演示修改方法，使用了内部的镜像仓库，实际使用中请修改为自己的镜像仓库地址
• 设置默认的持久化存储类为 nfs-sc，适用于 K8s 有多种存储类，需要部署到指定存储类的场景
• 开启外部访问，并设置相关参数
• 加密认证方式选择了 PLAINTEXT

正确执行后，输出结果如下 :

$ helm install opsxlab bitnami/kafka \  --set externalAccess.controller.service.nodePorts[1]='31212' \>   --namespace opsxlab --create-namespace \>   --set replicaCount=3 \>   --set global.imageRegistry="registry.opsxlab.cn:8443" \>   --set global.defaultStorageClass="nfs-sc" \>   --set externalAccess.enabled=true \>   --set externalAccess.controller.service.type=NodePort \>   --set externalAccess.controller.service.nodePorts[0]='31211' \>   --set externalAccess.controller.service.nodePorts[1]='31212' \>   --set externalAccess.controller.service.nodePorts[2]='31213' \>   --set externalAccess.controller.service.useHostIPs=true \>   --set listeners.client.protocol=PLAINTEXT \>   --set listeners.external.protocol=PLAINTEXTNAME: opsxlabLAST DEPLOYED: Wed Jul 30 22:08:38 2024NAMESPACE: opsxlabSTATUS: deployedREVISION: 1TEST SUITE: NoneNOTES:CHART NAME: kafkaCHART VERSION: 29.3.13APP VERSION: 3.7.1--------------------------------------------------------------------------------------------- WARNING    By specifying "serviceType=LoadBalancer" and not configuring the authentication    you have most likely exposed the Kafka service externally without any    authentication mechanism.    For security reasons, we strongly suggest that you switch to "ClusterIP" or    "NodePort". As alternative, you can also configure the Kafka authentication.---------------------------------------------------------------------------------------------** Please be patient while the chart is being deployed **Kafka can be accessed by consumers via port 9092 on the following DNS name from within your cluster:    opsxlab-kafka.opsxlab.svc.cluster.localEach Kafka broker can be accessed by producers via port 9092 on the following DNS name(s) from within your cluster:    opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092    opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092    opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092To create a pod that you can use as a Kafka client run the following commands:    kubectl run opsxlab-kafka-client --restart='Never' --image registry.opsxlab.cn:8443/bitnami/kafka:3.7.1-debian-12-r4 --namespace opsxlab --command -- sleep infinity    kubectl exec --tty -i opsxlab-kafka-client --namespace opsxlab -- bash    PRODUCER:        kafka-console-producer.sh \            --broker-list opsxlab-kafka-controller-0.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-1.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092,opsxlab-kafka-controller-2.opsxlab-kafka-controller-headless.opsxlab.svc.cluster.local:9092 \            --topic test    CONSUMER:        kafka-console-consumer.sh \            --bootstrap-server opsxlab-kafka.opsxlab.svc.cluster.local:9092 \            --topic test \            --from-beginningTo connect to your Kafka controller+broker nodes from outside the cluster, follow these instructions:    Kafka brokers domain: You can get the external node IP from the Kafka configuration file with the following commands (Check the EXTERNAL listener)        1. Obtain the pod name:        kubectl get pods --namespace opsxlab -l "app.kubernetes.io/name=kafka,app.kubernetes.io/instance=opsxlab,app.kubernetes.io/component=kafka"        2. Obtain pod configuration:        kubectl exec -it KAFKA_POD -- cat /opt/bitnami/kafka/config/server.properties | grep advertised.listeners    Kafka brokers port: You will have a different node port for each Kafka broker. You can get the list of configured node ports using the command below:        echo "$(kubectl get svc --namespace opsxlab -l "app.kubernetes.io/name=kafka,app.kubernetes.io/instance=opsxlab,app.kubernetes.io/component=kafka,pod" -o jsonpath='{.items[*].spec.ports[0].nodePort}' | tr ' ' '\n')"WARNING: There are "resources" sections in the chart not set. Using "resourcesPreset" is not recommended for production. For production installations, please set the following values according to your workload needs:  - controller.resources+info https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/

2.3 查看安装结果

Helm 安装命令成功执行后，观察 Pod 运行状态。

实际测试时还可以选择 Docker 镜像或是在 K8s 集群上再创建一个 Pod，测试时连接 K8s 节点的宿主机 IP 和 NodePort。