使用kubeadm安装Kubernetes 1.15.1

kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，伴随Kubernetes每个版本的发布都会同步更新，kubeadm会对集群配置方面的一些实践做调整，通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。

最近发布的Kubernetes 1.15中，kubeadm对HA集群的配置已经达到beta可用，说明kubeadm距离生产环境中可用的距离越来越近了。

1.准备

1.1 系统配置

在安装之前，需要先做如下准备。两台CentOS 7.6主机如下：

cat /etc/hosts192.168.99.11 node1192.168.99.12 node2

安装centos base源和epel源：

CentOS：
1、备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/
CentOS 7
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
或者
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
3、之后运行yum makecache生成缓存

epel：
##epel 配置方法
###1、备份(如有配置其他epel源)
mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup
mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel-testing.repo.backup
2、下载新repo 到/etc/yum.repos.d/
epel(RHEL 7)
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

在所有的机器上执行,安装基本命令：

yum install -y net-tools conntrack-tools wget vim ntpdate libseccomp libtool-ltdl lrzsz

如果各个主机启用了防火墙，需要开放Kubernetes各个组件所需要的端口，可以查看Installing kubeadm中的”Check required ports”一节。 这里简单起见在各节点禁用防火墙：

systemctl stop firewalldsystemctl disable firewalld

禁用SELINUX：

setenforce 0

vi /etc/selinux/configSELINUX=disabled

创建/etc/sysctl.d/k8s.conf文件，添加如下内容：

cat >/etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1
EOF

#执行命令使修改生效。
modprobe br_netfiltersysctl -p /etc/sysctl.d/k8s.conf

关闭swap

swapoff -ased -i ‘s/.*swap.*/#&/‘ /etc/fstab

1.2 kube-proxy开启ipvs的前置条件

由于ipvs已经加入到了内核的主干，所以为kube-proxy开启ipvs的前提需要加载以下的内核模块：

ip_vsip_vs_rrip_vs_wrrip_vs_shnf_conntrack_ipv4

在所有的Kubernetes节点node1和node2上执行以下脚本:

cat > /etc/sysconfig/modules/ipvs.modules <<EOF#!/bin/bashmodprobe -- ip_vsmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrrmodprobe -- ip_vs_shmodprobe -- nf_conntrack_ipv4EOFchmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

上面脚本创建了的/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。 使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块。

接下来还需要确保各个节点上已经安装了ipset软件包

yum install ipset -y 。默认是安装的，不用安装

[root@k8s-master-15-81 ~]# rpm -qa ipsetipset-6.38-3.el7_6.x86_64[root@k8s-master-15-81 ~]# 

为了便于查看ipvs的代理规则，最好安装一下管理工具ipvsadm 

yum install ipvsadm -y

如果以上前提条件如果不满足，则即使kube-proxy的配置开启了ipvs模式，也会退回到iptables模式

1.3安装Docker

Kubernetes从1.6开始使用CRI(Container Runtime Interface)容器运行时接口。默认的容器运行时仍然是Docker，使用的是kubelet中内置dockershim CRI实现。

#1.安装yum源工具包

yum install -y yum-utils device-mapper-persistent-data lvm2

#2.下载docker-ce官方的yum源配置文件，上面操作了 这里就不操作了

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

备注：不加https无法使用，如下阿里云没用

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo



备注：不使用国外源

#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

#3.禁用docker-c-edge源配edge是不开发版，不稳定，下载stable版

yum-config-manager --disable docker-ce-edge

#4.更新本地YUM源缓存

yum makecache fast

#5.安装Docker-ce最新版本

yum -y install docker-cesystemctl start dockersystemctl enable docker

#6.配置daemon, 因为kubelet的启动环境变量要与docker的cgroup-driver驱动相同,以下是官方推荐处理方式

#由于国内拉取镜像较慢，配置文件最后追加了阿里云镜像加速配置。

[root@k8s-master-15-82 ~]# cat >/etc/docker/daemon.json <<EOF{ "registry-mirrors":["https://8vd2izvl.mirror.aliyuncs.com"], "insecure-registries":["192.168.0.70:5000"]}EOF

 备注：

举例其他源，不需要操作

cat > /etc/docker/daemon.json <<EOF{ "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ], "registry-mirrors": ["https://uyah70su.mirror.aliyuncs.com"]}EOF举例2：使用DaoCloud加速器(可以跳过这一步)curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://0d236e3f.m.daocloud.io# docker version >= 1.12# {"registry-mirrors": ["http://0d236e3f.m.daocloud.io"]}# Success.# You need to restart docker to take effect: sudo systemctl restart dockersystemctl restart docker

#7.设置开机自启动

systemctl restart docker && systemctl enable docker && systemctl status docker

下面操作是举例指定docker版本安装，不需要操作。

安装docker的yum源:

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

备注：
# 添加Docker repository，这里改为国内阿里云yum源，下面国外源不建议用
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

查看最新的Docker版本：

yum list docker-ce.x86_64 --showduplicates |sort -rdocker-ce.x86_64 3:18.09.7-3.el7 docker-ce-stabledocker-ce.x86_64 3:18.09.6-3.el7 docker-ce-stabledocker-ce.x86_64 3:18.09.5-3.el7 docker-ce-stabledocker-ce.x86_64 3:18.09.4-3.el7 docker-ce-stabledocker-ce.x86_64 3:18.09.3-3.el7 docker-ce-stabledocker-ce.x86_64 3:18.09.2-3.el7 docker-ce-stabledocker-ce.x86_64 3:18.09.1-3.el7 docker-ce-stabledocker-ce.x86_64 3:18.09.0-3.el7 docker-ce-stabledocker-ce.x86_64 18.06.3.ce-3.el7 docker-ce-stabledocker-ce.x86_64 18.06.2.ce-3.el7 docker-ce-stabledocker-ce.x86_64 18.06.1.ce-3.el7 docker-ce-stabledocker-ce.x86_64 18.06.0.ce-3.el7 docker-ce-stabledocker-ce.x86_64 18.03.1.ce-1.el7.centos docker-ce-stabledocker-ce.x86_64 18.03.0.ce-1.el7.centos docker-ce-stable...

Kubernetes 1.15当前支持的docker版本列表是1.13.1, 17.03, 17.06, 17.09, 18.06, 18.09。 这里在各节点安装docker的18.09.7版本。

yum makecache fastyum install -y --setopt=obsoletes=0 docker-ce-18.09.7-3.el7 systemctl start dockersystemctl enable docker

确认一下iptables filter表中FOWARD链的默认策略(pllicy)为ACCEPT。

iptables -nvLChain INPUT (policy ACCEPT 263 packets, 19209 bytes) pkts bytes target prot opt in out source destinationChain FORWARD (policy ACCEPT 0 packets, 0 bytes) pkts bytes target prot opt in out source destination 0 0 DOCKER-USER all -- * * 0.0.0.0/0 0.0.0.0/0 0 0 DOCKER-ISOLATION-STAGE-1 all -- * * 0.0.0.0/0 0.0.0.0/0 0 0 ACCEPT all -- * docker0 0.0.0.0/0 0.0.0.0/0 ctstate RELATED,ESTABLISHED 0 0 DOCKER all -- * docker0 0.0.0.0/0 0.0.0.0/0 0 0 ACCEPT all -- docker0 !docker0 0.0.0.0/0 0.0.0.0/0 0 0 ACCEPT all -- docker0 docker0 0.0.0.0/0 0.0.0.0/0

1.4 修改docker cgroup driver为systemd

根据文档CRI installation中的内容，对于使用systemd作为init system的Linux的发行版，使用systemd作为docker的cgroup driver可以确保服务器节点在资源紧张的情况更加稳定，因此这里修改各个节点上docker的cgroup driver为systemd。

创建或修改/etc/docker/daemon.json：

{ "exec-opts": ["native.cgroupdriver=systemd"]}

重启docker：

systemctl restart dockerdocker info | grep CgroupCgroup Driver: systemd

参考：

https://mp.weixin.qq.com/s?__biz=MzI5ODQ2MzI3NQ==&mid=2247487402&idx=1&sn=47b43777f771aa9be00fd2ee42b83607&chksm=eca436eedbd3bff8de1db9c3930663d937d374c7270671cf37e0f38826f9b1fa457c37e8bbce&mpshare=1&scene=1&srcid=1031jg5rRSwuud7Xj595J5Ue&sharer_sharetime=1572502349775&sharer_shareid=77a67668b3df3cbbfd6b15ae88463a8a&key=25cd1836039b4f4aa76165da0cf346453c813f487fa324348825b94137d0c8804c40fa12773706d77c3a39b80df45cfdb0917937265e0619e7a8162406f4f3cbb43d0d0956512daa1b061047fb0549d4&ascene=1&uin=NzA1ODM3NDAw&devicetype=Windows+10&version=62070152&lang=zh_CN&pass_ticket=FbwQmRyAWoLoXMomUiZfMnp7wAER3xoukpLjBoSdIPndgEni%2BCQODSxIP82hZYgb

https://blog.frognew.com/2019/07/kubeadm-install-kubernetes-1.15.html