在K8S 中部署 Spring Boot 应用，爽！

来源：https://qingmu.io/2020/04/08/Spring-Boot-Operator-User-Guide/
前言在Kubernetes中部署spring boot应用整体上来说是一件比较繁琐的事情，而Spring Boot Operator则能带给你更清爽简单的体验。
Spring Boot Operator基于Kubernetes的custom resource definitions (CRDs)扩展API进行的开发。
打包Docker镜像在讲部署之前我们需要先将我们的SpringBoot应用打包成标准的DockerImage 。
Spring Boot 基础就不介绍了，推荐下这个实战教程：
https://www.javastack.cn/categories/Spring-Boot/
java项目打包镜像用maven/gradle插件比较多，我的另一篇文章构建SpringBoot的Docker镜像，这里在介绍一个新的google开源的插件Jib，该插件使用起来比较方便。
注意：jib打包的镜像会导致java应用的pid=1，在使用SpringBootOperator进行发布时候，Operator会设置kubernetes的ShareProcessNamespace参数为true（v1.10+版本都可使用）来解决该问题。
下面就来演示一下我们通过https://start.spring.io生成一个标准的SpringBoot项目operator-demo,然后使用jib插件进行镜像打包
scriptmvn com.google.cloud.tools:jib-maven-plugin:build \-Djib.to.auth.username=${{ secrets.MY_USERNAME }} \-Djib.to.auth.password=${{ secrets.MY_PASSWORD }} \-Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED \-Djib.from.image=freemanliu/oprenjre:11.0.5 \-Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0执行上面的命令之后我们将得到一个标准的docker镜像，该镜像会被推送到远程仓库。
Operator快速体验完成了镜像的构建之后,我们紧接着来安装我们的Operator到kubernetes集群，当然了首先你需要一套集群，可以参考我之前一篇文章部署高可用kubernetes，虽然版本比较老,但是新版本其实也差不多的一个思路。
快速安装此处快速安装只是为了快速体验demo
scriptkubectl apply -f https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yamlapply成功之后控制台输出
namespace/spring-boot-operator-system createdcustomresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io createdrole.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role createdclusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role createdclusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role createdclusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader createdrolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding createdclusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding createdclusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding createdservice/spring-boot-operator-controller-manager-metrics-service createddeployment.apps/spring-boot-operator-controller-manager created稍等片刻查看是否已经安装成功
scriptkubectlget po -n spring-boot-operator-system成功如下输出
NAMEREADYSTATUSRESTARTSAGEspring-boot-operator-controller-manager-7f498596bb-wcwtn2/2Running02m15s部署OperatorDemo应用完成了Operator的部署之后，我们来部署我们第一个应用，这里我们就发布上面我们编写的springboot应用opreator-demo 。
首先我们需要先编写一个Spring Boot Application 的CRD部署yaml，如下
# Demo.yamlapiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata:name: operator-demo spec:springBoot:version: v1.0.0#image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0细心的同学可能发现了，为啥连Image都没有？这怎么发布，就name，version，就能完成发布？是的没错！就能完成发布，后面我讲详细讲到他是如何完成的。
接着我们apply一下
scriptkubectl apply -f Demo.yaml看到console输出
springbootapplication.springboot.qingmu.io/operator-demo created验证表示创建成功了，接着我们来看下我们部署的第一个应用，这里我们直接用上面的yaml中的name过滤即可。
查看pod
script~# kubectlget po | grep operator-demooperator-demo-7574f4789c-mg58m1/1Running076soperator-demo-7574f4789c-ssr8v1/1Running076soperator-demo-7574f4789c-sznww1/1Running076s查看下我们的pid不等于1的设置是否生效,根据下面的结果可以看到通过设置ShareProcessNamespace该参数我们可以在Kubernetes层面来解决这个pid=1的问题。
scriptkubectl exec -it operator-demo-7574f4789c-mg58m bashbash-5.0# ps -efUIDPIDPPIDC STIME TTYTIME CMDroot100 02:06 ?00:00:00 /pauseroot60 26 02:06 ?00:00:09 java --add-opens java.base/sun.nio.ch=ALL-UNNAMED -cp /app/resources:/app/classes:/app/libs/* io.qingmu.operator.operatordemo.Oper...root3800 02:07 pts/000:00:00 bashroot44380 02:07 pts/000:00:00 ps -ef查看svc
script~# kubectlget svc | grep operator-demooperator-demoClusterIP10.101.128.6<none>8080/TCP2m52s我们来访问一下试试。
scriptroot@server1:~# curl -i http://10.101.128.6:8080HTTP/1.1 200 Content-Type: text/plain;charset=UTF-8Content-Length: 9Date: Wed, 08 Apr 2020 08:45:46 GMThello !!!我们来试着缩减他的副本数到1个
编辑我们的Demo.yaml，加入一个新的属性replicas
# Demo.yamlapiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata:name: operator-demo spec:springBoot:version: v1.0.0replicas: 1应用一下
scriptroot@server1:~# kubectl apply -f Demo.yaml springbootapplication.springboot.qingmu.io/operator-demo configured再次查看pod，你会发现我们的pod已经缩放为一个副本了
script~# kubectlget po | grep operator-demooperator-demo-7574f4789c-sznww1/1Running08m29s清理operator-demo要删除该pod 我们只需要执行delete即可
script~# kubectl delete -f Demo.yaml springbootapplication.springboot.qingmu.io "operator-demo" deleted再次查看pod，已经没了
scriptkubectlget po | grep operator-demo部署自己的应用部署自己私有仓库的应用需要需要先创建secret(如果已经创建跳过即可)
创建docker-registry的secret
scriptkubectl create\secret docker-registry aliyun-registry-secret \--docker-server=registry-vpc.cn-hangzhou.aliyuncs.com \--docker-username=*** \--docker-password=*** \--docker-email=***自己应用的crd Yaml
apiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata:name: 你的应用的名称spec:springBoot:version: v1.0.0replicas: 1image: 你的image地址imagePullSecrets:- 上面创建的secret一个完整的Spring Boot Application Yaml下面是一个完整的yaml属性结构，大部分属性我们都可以用默认配置的即可。
不设置属性，默认使用Operator中设置的通用值详见后面的自定义安装Operator 。
Spring Boot 基础就不介绍了，推荐下这个实战教程：
https://www.javastack.cn/categories/Spring-Boot/
apiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata:name: operator-demonamespace: defaultspec:springBoot:# image 可以不设置，如果不设置默认使用 IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version# registry.cn-shanghai.aliyuncs.com/qingmuio + / + operator-demo + : + v1.0.0image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0clusterIp: ""version: v1.0.0replicas: 1resource:cpu:request: 50mlimit: ""memory:request: 1Gilimit: 1Gipath:liveness: /actuator/healthreadiness: /actuator/healthhostLog: /var/applogshutdown: /spring/shutdownimagePullSecrets:- aliyun-docker-registry-secretenv:- name: EUREKA_SERVERSvalue: http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/nodeAffinity:key: "failure-domain.beta.kubernetes.io/zone"operator: "In"values:- "cn-i"- "cn-h"- "cn-g"优雅停机的路径由于优雅停机默认是关闭的并且并不支持Get请求所以我们需要开启和搭个桥
首先在application.yml中启用
management:endpoints:web:exposure:include: "*"endpoint:shutdown:enabled: true然后桥接一个Get方法
@RestControllerpublic class ShutdownController {@Autowiredprivate ShutdownEndpoint shutdownEndpoint;@GetMapping("/spring/shutdown")public Map<String, String> shutdown(HttpServletRequest request) {return shutdownEndpoint.shutdown();}}node亲和的使用举一个列子我们有一个springboot应用 user-service 希望他能分布到3个可用区的6个节点上:
首先我们把机器划分多个可用区
cn-i区(node-i1,node-i02)cn-h区(node-g1,node-g02)cn-g区(node-h1,node-h02)现在我们有三个可以区每个区有2台workload，一共6台。然后我们需要给这些机器分别打上label 。
将全部的i区机器标注为cn-i
scriptkubectl label node node-i1 failure-domain.beta.kubernetes.io/zone=cn-ikubectl label node node-i2 failure-domain.beta.kubernetes.io/zone=cn-i同理将h区的标注为h，g区同理
scriptkubectl label node node-h1 failure-domain.beta.kubernetes.io/zone=cn-ikubectl label node node-ih2 failure-domain.beta.kubernetes.io/zone=cn-i现在准备工作我们就绪了，现在我们来设置让它达到我们的调度效果，像如下编写即可。
spec:springBoot:nodeAffinity: #可以不设置节点亲和这里演示的是尽量将pod分散到 i h g 三个可用区，默认设置了pod反亲和key: "failure-domain.beta.kubernetes.io/zone"operator: "In"values:- "cn-i"- "cn-h"- "cn-g"Operator 自定义安装上面我们快速的安装了好了，接着我们来讲解下如何自定义安装，以及有哪些自定义的参数，可以个性化的参数我们用环境变量的方式注入。
下面来修改Deployment完成自己个性化的配置部署，从我提供的部署yaml中拉倒最后，找到name是spring-boot-operator-controller-manager的Deployment，我们将修改它。
apiVersion: apps/v1kind: Deploymentmetadata:labels:control-plane: controller-managername: spring-boot-operator-controller-managernamespace: spring-boot-operator-system.....#注意：一下配置针对通用全局的spring boot默认配置，对crd的spring boot生效，这里不配置也可以在部署的yaml中指定# 私有仓库的地址，比如我的最终打包的镜像地址是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0# 那么配置的值是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo# 配置这个值之后，我们我们如果在发布的yaml中不写image，那么使用的image就是 IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version- name: IMAGE_REPOSITORYvalue: registry.cn-shanghai.aliyuncs.com/qingmuio# 请求CPU限制- name: REQUEST_CPUvalue: 50m# 限制最大能用最大CPU java应用可以不用限制，限制不合理会导致启动异常缓慢- name: LIMIT_CPUvalue: ""# 请求内存大小- name: REQUEST_MEMORYvalue: 500Mi# 限制最大内存大小一般和request一样大即可- name: LIMIT_MEMORYvalue: 500Mi# 就绪检查Path，spring boot actuator 默认Path- name: READINESS_PATHvalue: /actuator/health# 就绪存活Path，spring boot actuator 默认Path- name: LIVENESS_PATHvalue: /actuator/health# 就绪存活Path，优雅停机Path- name: SHUTDOWN_PATHvalue: /spring/shutdown# 复制级即副本数- name: REPLICASvalue: "3"# 将日志外挂到主机磁盘Path，默认两者相同- name: HOST_LOG_PATHvalue: /var/applog# 用于pull 镜像的secrets- name: IMAGE_PULL_SECRETSvalue: ""# 用于pull 镜像的secrets- name: SPRING_BOOT_DEFAULT_PORTvalue: "8080"# node亲和，比如我可以设置pod尽量分散在不同可用区cn-i,cn-g,cn-h区- name: NODE_AFFINITY_KEYvalue: ""- name: NODE_AFFINITY_OPERATORvalue: ""- name: NODE_AFFINITY_VALUESvalue: ""# 全局的环境变量，会追加到每个spring boot的每个pod中，格式 k=v;k1=v2,# 如 EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v- name: SPRING_BOOT_ENVvalue: ""image: registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest.....自定义安装之后部署yaml可以简化为如下。
apiVersion: springboot.qingmu.io/v1alpha1kind: SpringBootApplicationmetadata:name: 你的应用的名称spec:springBoot:version: v1.0.0附录环境变量表格
环境变量名是否可以空默认值说明IMAGE_REPOSITORYtrue“”私有仓库的地址REQUEST_CPUtrue50m请求CPU限制LIMIT_CPUtrue“”限制最大能用最大CPU java应用可以不用限制，限制不合理会导致启动异常缓慢REQUEST_MEMORYtrue2Gi请求内存大小LIMIT_MEMORYtrue2Gi限制最大内存大小一般和request一样大即可READINESS_PATHtrue/actuator/health就绪检查Path，spring boot actuator 默认PathLIVENESS_PATHtrue/actuator/health存活检查Path，spring boot actuator 默认PathSHUTDOWN_PATHtrue/spring/shutdown就绪存活Path，优雅停机PathREPLICAStrue3副本数HOST_LOG_PATHtrue/var/applog将日志外挂到主机磁盘Path，默认两者相同IMAGE_PULL_SECRETStrue无用于pull 镜像的secretsSPRING_BOOT_DEFAULT_PORTtrue8080用于pull 镜像的secretsNODE_AFFINITY_KEYtrue“”node亲和key，比如我可以设置pod尽量分散在不同可用区cn-i,cn-g,cn-h区NODE_AFFINITY_OPERATORtrue“”node亲和操作符NODE_AFFINITY_VALUEStrue“”node亲和valueSPRING_BOOT_ENVtrue“”全局的环境变量，会追加到每个spring boot的每个pod中，格式 k=v;k1=v2近期热文推荐：
1.1,000+ 道 Java面试题及答案整理(2021最新版)
2.别在再满屏的 if/ else 了，试试策略模式，真香！！
3.卧槽！Java 中的 xx ≠ null 是什么新语法？
4.Spring Boot 2.6 正式发布，一大波新特性。。
5.《Java开发手册（嵩山版）》最新发布，速速下载！
【在K8S 中部署 Spring Boot 应用，爽！】觉得不错，别忘了随手点赞+转发哦！