【搞定K8S】第3天7：kubernetes 高可用集群搭建

【搞定k8s】第3天7：kubernetes 高可用集群搭建

1、概述 Kubernetes 作为容器集群系统，通过健康检查+重启策略实现了 Pod 故障自我修复能力， 通过调度算法实现将 Pod 分布式部署，监控其预期副本数，并根据 Node 失效状态自动在正常 Node 启动 Pod，实现了应用层的高可用性。

针对 Kubernetes 集群，高可用性还应包含以下两个层面的考虑：Etcd 数据库的高可用性和 Kubernetes Master 组件的高可用性。 而 Etcd 我们已经采用 3 个节点组建集群实现高可用，本节将对 Master 节点高可用进行说明和实施。

Master 节点扮演着总控中心的角色，通过不断与工作节点上的 Kubelet 和 kube-proxy 进行通信来维护整个集群的健康工作状态。如果 Master 节点故障，将无法使用 kubectl 工具或者 API 任何集群管理。

Master 节点主要有三个服务 kube-apiserver、kube-controller-mansger 和 kube- scheduler，其中 kube-controller-mansger 和 kube-scheduler 组件自身通过选择机制已经实现了高可用，所以 Master 高可用主要针对 kube-apiserver 组件，而该组件是以 HTTP API 提供服务，因此对他高可用与 Web 服务器类似，增加负载均衡器对其负载均衡即可， 并且可水平扩容。

多 Master 架构图：

2、安装 Docker 同单 Master 安装 3、部署 Master Node 新 Master 内容与已部署的 Master1 节点所有操作一致。所以我们只需将 Master1 节点所有 K8s 文件拷贝过来，再修改下服务器 IP 和主机名启动即可。

3.1、创建 etcd 证书目录

在 Master2（192.168.31.74）创建 etcd 证书目录：

mkdir -p /opt/etcd/ssl

3.2、拷贝文件（Master1 操作）

拷贝 Master1 节点 K8s 所有涉及文件和 etcd 证书：

scp -r /opt/kubernetes root@192.168.31.74:/optscp -r /opt/cni/ root@192.168.31.74:/optscp -r /opt/etcd/ssl root@192.168.31.74:/opt/etcdscp /usr/lib/systemd/system/kube* root@192.168.31.74:/usr/lib/systemd/system scp /usr/bin/kubectl root@192.168.31.74:/usr/bin

3.3、删除证书文件

删除 kubelet 证书和 kubeconfig 文件：

rm -f /opt/kubernetes/cfg/kubelet.kubeconfigrm -f /opt/kubernetes/ssl/kubelet*

3.4、修改配置文件 IP 和主机名

修改 apiserver、kubelet 和 kube-proxy 配置文件为本地 IP：

vi /opt/kubernetes/cfg/kube-apiserver.conf...--bind-address=192.168.31.74 \--advertise-address=192.168.31.74 \...vi /opt/kubernetes/cfg/kubelet.conf--hostname-override=k8s-master2vi /opt/kubernetes/cfg/kube-proxy-config.yml hostnameOverride: k8s-master2

3.5、启动设置开机启动

systemctl daemon-reload systemctl start kube-apiserversystemctl start kube-controller-manager systemctl start kube-scheduler systemctl start kubeletsystemctl start kube-proxy systemctl enable kube-apiserversystemctl enable kube-controller-manager systemctl enable kube-scheduler systemctl enable kubeletsystemctl enable kube-proxy

3.6、查看集群状态

kubectl get cs NAME STATUS MESSAGE ERRORscheduler Healthy okcontroller-manager Healthy oketcd-1 Healthy {"health":"true"}etcd-2 Healthy {"health":"true"}etcd-0 Healthy {"health":"true"}

3.7、批准 kubelet 证书申请

4、部署 Nginx 负载均衡器 （1）kube-apiserver 高可用架构图：

（2）涉及软件：

Keepalived 是一个主流高可用软件，基于 VIP 绑定实现服务器双机热备，在上述拓扑中， Keepalived 主要根据 Nginx 运行状态判断是否需要故障转移（偏移 VIP），例如当 Nginx 主节点挂掉，VIP 会自动绑定在 Nginx 备节点，从而保证 VIP 一直可用，实现 Nginx 高可用。

Nginx 是一个主流 Web 服务和反向代理服务器，这里用四层实现对 apiserver 实现负载均衡。

4.1、安装软件包（主/备）

4.2、Nginx 配置文件（主/备一样）

4.3、keepalived 配置文件（Nginx Master）

vrrp_script：指定检查 nginx 工作状态脚本（根据 nginx 状态判断是否故障转移）virtual_ipaddress：虚拟 IP（VIP）

4.4、检查 nginx 状态脚本：

4.5、keepalived 配置文件（Nginx Backup）

上述配置文件中检查 nginx 运行状态脚本：

注：keepalived 根据脚本返回状态码（0 为工作正常，非 0 不正常）判断是否故障转移。

4.6、启动并设置开机启动

4.7、查看 keepalived 工作状态

可以看到，在 ens33 网卡绑定了 192.168.31.88 虚拟 IP，说明工作正常。

4.8、Nginx+Keepalived 高可用测试

关闭主节点 Nginx，测试 VIP 是否漂移到备节点服务器。在 Nginx Master 执行 pkill nginx

在 Nginx Backup，ip addr 命令查看已成功绑定 VIP。

4.9、访问负载均衡器测试

找 K8s 集群中任意一个节点，使用 curl 查看 K8s 版本测试，使用 VIP 访问：

可以正确获取到 K8s 版本信息，说明负载均衡器搭建正常。该请求数据流程：curl -> vip(nginx) -> apiserver

通过查看 Nginx 日志也可以看到转发 apiserver IP：

4.10、修改所有 Worker Node 连接 LB VIP

试想下，虽然我们增加了 Master2 和负载均衡器，但是我们是从单 Master 架构扩容的，也就是说目前所有的 Node 组件连接都还是 Master1，如果不改为连接 VIP 走负载均衡器，那么 Master 还是单点故障。

因此接下来就是要改所有 Node 组件配置文件中的连接 apiserver IP：

也就是通过 kubectl get node 命令查看到的节点。

在上述所有 Worker Node 执行：

include /usr/share/nginx/modules/*.conf;events {worker_connections 1024;}# 四层负载均衡，为两台 Master apiserver 组件提供负载均衡stream {log_format main '$remote_addr $upstream_addr - [$time_local] $status$upstream_bytes_sent';access_log /var/log/nginx/k8s-access.log main;upstream k8s-apiserver {server 192.168.31.71:6443; # Master1 APISERVER IP:PORT server 192.168.31.74:6443; # Master2 APISERVER IP:PORT}server {listen 6443;proxy_pass k8s-apiserver;}}{log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$''"$"$ /var/log/nginx/access.log main;sendfile on;tcp_nopush on;tcp_nodelay on; keepalive_timeout 65;types_hash_max_size 2048;include /etc/nginx/mime.types; default_type application/octet-stream;server {listen 80 default_server; server_name _;location / {}}} EOF

cat > /etc/keepalived/keepalived.conf << EOF global_defs {notification_email { acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.loc smtp_server 127.0.0.1smtp_connect_timeout 30 router_id NGINX_MASTER}vrrp_script check_nginx {script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 { state MASTER interface ens33virtual_router_id 51 # VRRP 路由 ID 实例，每个实例是唯一的priority 100 # 优先级，备服务器设置 90advert_int 1 # 指定 VRRP 心跳包通告间隔时间，默认 1 秒authentication {auth_type PASS auth_pass 1111}# 虚 拟 IP virtual_ipaddress {192.168.31.88/24}track_script { check_nginx}} EOF

cat >/etc/keepalived/check_nginx.sh << "EOF" #!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then exit 1elseexit 0fi EOF

chmod +x /etc/keepalived/check_nginx.sh

cat > /etc/keepalived/keepalived.conf << EOF global_defs {notification_email { acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.loc smtp_server 127.0.0.1smtp_connect_timeout 30 router_id NGINX_BACKUP}vrrp_script check_nginx {script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {state BACKUP interface ens33virtual_router_id 51 # VRRP 路由 ID 实例，每个实例是唯一的priority 90advert_int 1 authentication {auth_type PASS auth_pass 1111}virtual_ipaddress { 192.168.31.88/24}track_script { check_nginx}} EOF

cat >/etc/keepalived/check_nginx.sh << "EOF" #!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then exit 1elseexit 0fi EOF

chmod +x /etc/keepalived/check_nginx.sh systemctl daemon-reloadsystemctl start nginx systemctl start keepalived systemctl enable nginx systemctl enable keepalived ip a

1: lo: mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lovalid_lft forever preferred_lft forever inet6 ::1/128 scope hostvalid_lft forever preferred_lft forever 2: ens33: mtu 1500 qdisc pfifo_fast state UP group default qlen 1000link/ether 00:0c:29:04:f7:2c brd ff:ff:ff:ff:ff:ffinet 192.168.31.80/24 brd 192.168.31.255 scope global noprefixroute ens33 valid_lft forever preferred_lft foreverinet 192.168.31.88/24 scope global secondary ens33 valid_lft forever preferred_lft foreverinet6 fe80::20c:29ff:fe04:f72c/64 scope link valid_lft forever preferred_lft forevercurl -k "1","minor": "18","gitVersion": "v1.18.3","gitCommit": "2e7996e3e2712684bc73f0dec0200d64eec7fe40", "gitTreeState": "clean","buildDate": "2020-05-20T12:43:34Z","goVersion": "go1.13.9",-f [30/May/2020:11:15:10 +0800] 200 422[30/May/2020:11:15:26 +0800] 200 422

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。