kubeadm搭建kubernetes(v1.13.1)单节点集群

kubeadm是Kubernetes官方提供的用于快速部署Kubernetes集群的工具,本篇文章使用kubeadm搭建一个单master节点的k8s集群。

节点部署信息

节点主机名节点IP节点角色操作系统
k8s-master10.10.55.113mastercentos7.6
k8s-node110.10.55.114nodecentos7.6

 

 

 

 

节点说明

master:控制节点。kube-apiserver负责API服务,kube-controller-manager负责容器编排,kube-scheduler负责调度

node:工作节点。kubelet 主要负责同容器运行时(比如 Docker 项目)打交道。而这个交互所依赖的,是一个称作 CRI(Container Runtime Interface)的远程调用接口,这个接口定义了容器运行时的各项核心操作,比如:启动一个容器需要的所有参数

master核心组件node核心组件
kube-apiserverkubelet
kube-controller-manager 
kube-scheduler 

 

 

 

 

 

一、基础环境准备

以下操作无特殊说明均在每个节点执行。

修改主机名

#master节点:hostnamectl set-hostname k8s-master#node1节点:hostnamectl set-hostname k8s-node1

基本配置

#修改/etc/hosts文件cat >> /etc/hosts << EOF10.10.55.113 k8s-master10.10.55.114 k8s-node1EOF#关闭防火墙和selinuxsystemctl stop firewalld && systemctl disable firewalldsed -i ‘s/^SELINUX=enforcing$/SELINUX=disabled/‘ /etc/selinux/config && setenforce 0#关闭swapswapoff -ayes | cp /etc/fstab /etc/fstab_bakcat /etc/fstab_bak |grep -v swap > /etc/fstab

设置网桥包经过iptalbes

RHEL / CentOS 7上的一些用户报告了由于iptables被绕过而导致流量路由不正确的问题。创建/etc/sysctl.d/k8s.conf文件,添加如下内容:

cat <<EOF > /etc/sysctl.d/k8s.confvm.swappiness = 0net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1EOF# 使配置生效modprobe br_netfiltersysctl -p /etc/sysctl.d/k8s.conf

修改iptables filter表中FOWARD链的默认策略(pllicy)为ACCEPT 

iptables -P FORWARD ACCEPT

kube-proxy开启ipvs的前提条件

由于ipvs已经加入到了内核的主干,所以为kube-proxy开启ipvs的前提需要加载以下的内核模块:
在所有的Kubernetes节点执行以下脚本:

cat > /etc/sysconfig/modules/ipvs.modules <<EOF#!/bin/bashmodprobe -- ip_vsmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrrmodprobe -- ip_vs_shmodprobe -- nf_conntrack_ipv4EOF#执行脚本chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

#查看是否已经正确加载所需的内核模块
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

上面脚本创建了/etc/sysconfig/modules/ipvs.modules文件,保证在节点重启后能自动加载所需模块。 使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块。
接下来还需要确保各个节点上已经安装了ipset软件包。 为了便于查看ipvs的代理规则,最好安装一下管理工具ipvsadm。

yum install ipsetyum install ipset ipvsadm -y

安装docker

Kubernetes默认的容器运行时仍然是Docker,使用的是kubelet中内置dockershim CRI实现。需要注意的是,Kubernetes 1.13最低支持的Docker版本是1.11.1,最高支持是18.06,而Docker最新版本已经是18.09了,故我们安装时需要指定版本为18.06.1-ce

#配置docker yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo#安装指定版本,这里安装18.06yum list docker-ce --showduplicates | sort -ryum install -y docker-ce-18.06.1.ce-3.el7systemctl start docker && systemctl enable docker

#启用docker
systemctl enable docker
sudo systemctl start docker

#测试docker是否安装成功
docker run hello-world

安装kubeadm、kubelet、kubectl

官方安装文档可以参考:
https://kubernetes.io/docs/setup/independent/install-kubeadm/

kubelet 在群集中所有节点上运行的核心组件, 用来执行如启动pods和containers等操作。
kubeadm 引导启动k8s集群的命令行工具,用于初始化 Cluster。
kubectl 是 Kubernetes 命令行工具。通过 kubectl 可以部署和管理应用,查看各种资源,创建、删除和更新各种组件。

#配置kubernetes.repo的源,由于官方源国内无法访问,这里使用阿里云yum源cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgEOF#在所有节点上安装指定版本 kubelet、kubeadm 和 kubectlyum install -y kubelet-1.13.1 kubeadm-1.13.1 kubectl-1.13.1#启动kubelet服务systemctl enable kubelet && systemctl start kubelet

二、部署master节点

Master节点执行初始化:

注意这里执行初始化用到了- -image-repository选项,指定初始化需要的镜像源从阿里云镜像仓库拉取。--ignore-preflight-errors=Swap,忽略系统swap错误警告

kubeadm init --kubernetes-version=v1.13.1 --pod-network-cidr=10.244.0.0/16 --image-repository registry.aliyuncs.com/google_containers --apiserver-advertise-address=10.10.55.113 --ignore-preflight-errors=Swap

等待执行完成后,会看到类似如下的提示,后续加入kubernetes集群要用到

kubeadm join 10.10.55.113:6443 --token x66sy3.7e2u4um7etb3zk57 --discovery-token-ca-cert-hash sha256:147a0920ac265d668e54fea59af4fb570660eccd178ca1c247c0c018286478a3

配置 kubectl

kubectl 是管理 Kubernetes Cluster 的命令行工具,前面我们已经在所有的节点安装了 kubectl。Master 初始化完成后需要做一些配置工作,然后 kubectl 就能使用了。
依照 kubeadm init 输出的最后提示,推荐用 Linux 普通用户执行 kubectl。

创建普通用户centos

#创建普通用户并设置密码123456useradd centos && echo "centos:123456" | chpasswd centos#追加sudo权限,并配置sudo免密sed -i ‘/^root/a\centos ALL=(ALL) NOPASSWD:ALL‘ /etc/sudoers#保存集群安全配置文件到当前用户.kube目录su - centosmkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config#启用 kubectl 命令自动补全功能(注销重新登录生效)echo "source <(kubectl completion bash)" >> ~/.bashrc

需要这些配置命令的原因是:Kubernetes 集群默认需要加密方式访问。所以,这几条命令,就是将刚刚部署生成的 Kubernetes 集群的安全配置文件,保存到当前用户的.kube 目录下,kubectl 默认会使用这个目录下的授权信息访问 Kubernetes 集群。
如果不这么做的话,我们每次都需要通过 export KUBECONFIG 环境变量告诉 kubectl 这个安全配置文件的位置。
配置完成后centos用户就可以使用 kubectl 命令管理集群了。

查看集群状态:

确认各个组件都处于healthy状态。

[root@k8s-master ~]# kubectl get csNAME STATUS MESSAGE ERRORcontroller-manager Healthy okscheduler Healthy oketcd-0 Healthy {"health": "true"}

部署网络插件(这里使用flannerl)

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.ymlkubectl apply -f kube-flannel.yml

安装完成确保所有pod处于running状态

kubectl get pod --all-namespaces -o wide

#或者如下命令(-n kube-system意思为命名空间kube-system下pod的状态)
kubectl get pods -n kube-system

此时master节点的状态为ready

[root@k8s-master ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONk8s-master Ready master 8d v1.13.1

安装出现问题

#日志 (coredns-78d4cf999f-qhb7p指 pod的name)kubectl logs coredns-78d4cf999f-qhb7p -n kube-system#节点详情kubectl describe pods coredns-78d4cf999f-qhb7p -n kube-system

尝试重新安装

kubeadm resetifconfig cni0 downip link delete cni0ifconfig flannel.1 downip link delete flannel.1rm -rf /var/lib/cni/

三、部署node节点

node加入kubernetes集群

#执行以下命令将节点接入集群kubeadm join 10.10.55.113:6443 --token x66sy3.7e2u4um7etb3zk57 --discovery-token-ca-cert-hash sha256:147a0920ac265d668e54fea59af4fb570660eccd178ca1c247c0c018286478a3
#如果执行kubeadm init时没有记录下加入集群的命令,可以通过以下命令重新创建kubeadm token create --print-join-command

查看节点状态

[root@k8s-master ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONk8s-master Ready master 8d v1.13.1k8s-node1 Ready <none> 8d v1.13.1

确保组件为running

[root@k8s-node1 ~]# kubectl get pods -n kube-systemNAME READY STATUS RESTARTS AGEcoredns-78d4cf999f-77ql5 1/1 Running 0 8dcoredns-78d4cf999f-qhb7p 1/1 Running 0 8detcd-k8s-master 1/1 Running 0 8dkube-apiserver-k8s-master 1/1 Running 0 8dkube-controller-manager-k8s-master 1/1 Running 1 8dkube-flannel-ds-amd64-2272z 1/1 Running 0 8dkube-flannel-ds-amd64-zlgxf 1/1 Running 0 8dkube-proxy-hwptn 1/1 Running 0 8dkube-proxy-p6cg2 1/1 Running 0 8dkube-scheduler-k8s-master 1/1 Running 1 8d

如果pod状态为Pending、ContainerCreating、ImagePullBackOff 都表明 Pod 没有就绪,Running 才是就绪状态。
如果有pod提示失败,我们可以通过 kubectl describe pod 查看 Pod 具体情况,以具体分析解决问题

四、测试集群各个组件是否正常

 首先验证kube-apiserver, kube-controller-manager, kube-scheduler, pod network 是否正常:
部署一个 Nginx Deployment,包含2个Pod

[root@k8s-node1 ~]# kubectl get deployments
NAME READY UP-TO-DATE AVAILABLE AGE
my-saas-service 1/1 1 1 5d5h
my-saas-web 1/1 1 1 3d23h
[root@k8s-node1 ~]# kubectl create deployment nginx --image=nginx:alpine
deployment.apps/nginx created
[root@k8s-node1 ~]# kubectl scale deployment nginx --replicas=2
deployment.extensions/nginx scaled
[root@k8s-node1 ~]# kubectl get pods -l app=nginx -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-54458cd494-cgqgf 1/1 Running 0 13s 10.244.1.36 k8s-node1 <none> <none>
nginx-54458cd494-gkhlb 1/1 Running 0 8s 10.244.1.37 k8s-node1 <none> <none>

再验证一下kube-proxy是否正常:

以 NodePort 方式对外提供服务

[root@k8s-node1 ~]# kubectl expose deployment nginx --port=80 --type=NodePortservice/nginx exposed[root@k8s-node1 ~]# kubectl get services nginxNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEnginx NodePort 10.102.34.74 <none> 80:31782/TCP 4s

可以通过任意 NodeIP:Port 在集群外部访问这个服务:

[root@k8s-node1 ~]# curl 10.10.55.113:31782[root@k8s-node1 ~]# curl 10.10.55.114:31782<!DOCTYPE html><html><head><title>Welcome to nginx!</title><style> body { width: 35em; margin: 0 auto; font-family: Tahoma, Verdana, Arial, sans-serif; }</style></head><body><h1>Welcome to nginx!</h1><p>If you see this page, the nginx web server is successfully installed andworking. Further configuration is required.</p><p>For online documentation and support please refer to<a href="http://nginx.org/">nginx.org</a>.<br/>Commercial support is available at<a href="http://nginx.com/">nginx.com</a>.</p><p><em>Thank you for using nginx.</em></p></body></html>

最后验证一下dns, pod network是否正常:

 运行Busybox并进入交互模式

[root@k8s-node1 ~]# kubectl run -it curl --image=radial/busyboxplus:curlkubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead.If you don‘t see a command prompt, try pressing enter.

输入nslookup nginx查看是否可以正确解析出集群内的IP,以验证DNS是否正常

[ root@curl-66959f6557-rb2bm:/ ]$ nslookup nginxServer: 10.96.0.10Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.localName: nginxAddress 1: 10.102.34.74 nginx.default.svc.cluster.local

通过服务名进行访问,验证kube-proxy是否正常

[ root@curl-66959f6557-rb2bm:/ ]$ curl http://nginx/<!DOCTYPE html><html><head><title>Welcome to nginx!</title><style> body { width: 35em; margin: 0 auto; font-family: Tahoma, Verdana, Arial, sans-serif; }</style></head><body> ...</body></html>

退出 exit

kube-proxy开启ipvs

修改ConfigMap的kube-system/kube-proxy中的config.conf,mode: “ipvs”:

kubectl edit cm kube-proxy -n kube-system

之后重启各个节点上的kube-proxy pod:

kubectl get pod -n kube-system | grep kube-proxy | awk ‘{system("kubectl delete pod "$1" -n kube-system")}‘

查看状态

kubectl get pod -n kube-system | grep kube-proxy

查看日志

kubectl logs kube-proxy-pf55q -n kube-system

日志中打印出了Using ipvs Proxier,说明ipvs模式已经开启。

备注:删除节点和集群

如何从集群中移除k8s-node2 (是k8s-node2)?

首先要排除节点,并确保该节点为空, 然后再将其关闭。

1. 在master节点上执行:

kubectl drain k8s-node2 --delete-local-data --force --ignore-daemonsetskubectl delete node k8s-node2 

2. 在子节点k8s-node2  上执行:

kubeadm resetifconfig cni0 downip link delete cni0ifconfig flannel.1 downip link delete flannel.1rm -rf /var/lib/cni/

3.在子节点 k8s-node1上执行

kubectl delete node k8s-node2 

注意:

在master上删除node并不会清理k8s-node2运行的容器,需要在删除节点上面手动运行清理命令。
如果你想重新配置集群,使用新的参数重新运行kubeadm init或者kubeadm join即可。

 

到此,kubeadm搭建kubernetes(v1.13.1)单节点集群搭建完成,后续可以继续添加node节点,或者部署dashboard、helm包管理工具、EFK日志系统、Prometheus Operator监控系统、rook+ceph存储系统等组件

参考:

https://blog.csdn.net/networken/article/details/84991940

https://www.kubernetes.org.cn/4956.html

 

关于kubernetes生产高可用集群搭建待续

相关文章