Kubernetes进阶之ingress-nginx

目录：
一 从外部访问应用最佳方式
二 配置管理
三 数据卷与数据持久卷
四 再谈有状态应用部署
五 K8S 安全机制

说在前面的话，选择nodeport的方式去暴露端口，那你需要得去判断暴露的端口有没有被占用，再创建新的应用会判断端口有没有被分配出去nodeport本身是基于默认的iptables的代理模式做的网络转发，也就是SANT,DANT,基于四层的，做七层是做不了的，性能差一点，因为它需要防火墙的转发和过滤。

一、从外部访问应用最佳方式

1. Pod与Ingress的关系
   ? 通过Service相关联
   ? 通过Ingress Controller实现Pod的负载均衡
   • 支持TCP/UDP 4层和HTTP 7层
     
2. Ingress Controller
   controller类似装的k8s组件，时常的要去api去交互，时常去获取api的相关的信息，刷新自己的规则，类似与其他控制器
   ingress，k8s设计了一个比较全局性的负载均衡器，准确的来说Ingress它是k8s中的一个规则，实现这个规则就是使用的这个控制器，一般称为ingress控制器
   ingress控制器主要做的工作就是，它访问到这个控制器，它帮你转发的具体pod,也就是集群池，关联的哪些应用，哪些pod的IP，会帮你关联出来，暴露的端口80,443
   
   1.部署Ingress Controlle
   部署文档：https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/index.md
3. 创建Ingress规则，为你的应用暴露一个端口，暴露一个域名，让用户去访问这个ingress controller控制器就可以了
   3.控制器选择类型
   https://kubernetes.io/docs/concepts/services-networking/ingress-controllers/
   注意事项：
   ? 镜像地址修改成国内的： zhaocheng172/nginx-ingress-controller:0.20.0
   ? 使用宿主机网络：hostNetwork: true

   [root@k8s-master demo]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml[root@k8s-master demo]# kubectl apply -f mandatory.yaml[root@k8s-master demo]# kubectl get pod -n ingress-nginxNAME READY STATUS RESTARTS AGEnginx-ingress-controller-5654f58c87-r5vcq 1/1 Running 0 46s

   分配给node2上面了，我们可以用netstat去查看我们监听的端口80/443

   [root@k8s-master demo]# kubectl get pod -n ingress-nginx -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESnginx-ingress-controller-5654f58c87-r5vcq 1/1 Running 0 3m51s 192.168.30.23 k8s-node2 <none> <none>[root@k8s-master demo]# vim ingress.yaml apiVersion: extensions/v1beta1kind: Ingressmetadata:name: example-ingressspec:rules:- host: www.dagouzi.comhttp: paths: - backend: serviceName: deployment-service servicePort: 80[root@k8s-master demo]# kubectl create -f ingress.yaml [root@k8s-master demo]# kubectl get ingress -o wideNAME HOSTS ADDRESS PORTS AGEexample-ingress www.dagouzi.com 80 49m

   测试访问，这里我是写到了我的hosts文件中，要是做域名解析的话也是解析我们ingress的IP
   
   这种类型呢，只能给我们ingress-nginx分配到一个节点上，如果我们的ingress-nginx挂了就肯定访问不到我们的应用服务了
   要是解决这个问题，我们就可以将副本进行扩容，使用DaemonSet的形式可以使我们的节点都能起一个pod，把副本删除，因为这里不需要副本
   ,需要把之前的资源删除才能修改

   [root@k8s-master demo]# kubectl delete -f mandatory.yaml [root@k8s-master demo]# kubectl get pod -n ingress-nginx -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESnginx-ingress-controller-4s5ck 1/1 Running 0 38s 192.168.30.22 k8s-node1 <none> <none>nginx-ingress-controller-85rlq 1/1 Running 0 38s 192.168.30.23 k8s-node2 <none> <none>

   查看我们的监听端口，node1/node2，上面都有，不过这样的实例，比较适合小型的集群
   一般我们还可以在这样DaemonSet控制器前面再跑两个基于4层的负载均衡器
   User-->lb(vm-nginx/lvs/haproxy)--->node1/node2的IP，再使用算法，进行轮询，---->pod

   [root@k8s-node1 ~]# netstat -anpt |grep 80tcp 0 0 0.0.0.0:18080 0.0.0.0:* LISTEN 63219/nginx: master tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 63219/nginx: master tcp 0 0 127.0.0.1:33680 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33700 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33696 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33690 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:18080 127.0.0.1:33580 TIME_WAIT - tcp 0 0 127.0.0.1:33670 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33660 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33676 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33666 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33686 127.0.0.1:18080 TIME_WAIT - tcp 0 0 127.0.0.1:33656 127.0.0.1:18080 TIME_WAIT - tcp6 0 0 :::18080 :::* LISTEN 63219/nginx: master tcp6 0 0 :::80 :::* LISTEN 63219/nginx: master [root@k8s-node1 ~]# netstat -anpt |grep 443tcp 0 0 0.0.0.0:443 0.0.0.0:* LISTEN 63219/nginx: master tcp 0 0 192.168.30.22:34798 192.168.30.21:6443 ESTABLISHED 1992/kube-proxy tcp 0 0 192.168.30.22:44344 10.1.0.1:443 ESTABLISHED 6556/flanneld tcp 0 0 192.168.30.22:44872 192.168.30.21:6443 ESTABLISHED 1718/kubelet tcp 0 0 192.168.30.22:58774 10.1.0.1:443 ESTABLISHED 63193/nginx-ingress tcp6 0 0 :::443 :::* LISTEN 63219/nginx: master

基于https形式进行访问

[root@k8s-master cert]# cat cfssl.shcurl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfsslcurl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljsoncurl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfochmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo[root@k8s-master cert]# sh cfssl.sh[root@k8s-master cert]# lscerts.sh cfssl.sh[root@k8s-master cert]# chmod +x certs.sh [root@k8s-master cert]# sh certs.sh 

为我们的域名生成证书，一个key,一个pem

[root@k8s-master cert]# lsblog.ctnrs.com.csr blog.ctnrs.com-key.pem ca-config.json ca-csr.json ca.pem cfssl.shblog.ctnrs.com-csr.json blog.ctnrs.com.pem ca.csr ca-key.pem certs.sh

把我们的key放入到我们的k8s中，使用ingress的时候使用这个key

[root@k8s-master cert]# kubectl create secret tls blog-ctnrs-com --cert=blog.ctnrs.com.pem --key=blog.ctnrs.com-key.pem[root@k8s-master cert]# kubectl get secretNAME TYPE DATA AGEblog-ctnrs-com kubernetes.io/tls 2 3m1sdefault-token-m6b7h kubernetes.io/service-account-token 3 9d[root@k8s-master demo]# vim ingress-https.yamlapiVersion: extensions/v1beta1kind: Ingressmetadata: name: tls-example-ingressspec: tls: - hosts: - blog.ctnrs.com secretName: blog-ctnrs-com rules: - host: blog.ctnrs.com http: paths: - path: / backend: serviceName: deployment-service servicePort: 80[root@k8s-master demo]# kubectl create -f ingress-https.yaml ingress.extensions/tls-example-ingress created[root@k8s-master demo]# kubectl get ingressNAME HOSTS ADDRESS PORTS AGEexample-ingress www.dagouzi.com 80 3h26mtls-example-ingress blog.ctnrs.com 80, 443 5s

这里提示不安全，因为我们是用自签的证书进行认证的，如果我们把买的证书替换了就可以正常去访问了

小结：
暴露外部访问的两种方式
User --> lb(外部的负载均衡+keepalived) -->ingress controller (node1/node2)---->pod
User --》 node(vip ingress controller+keepalived主备）-->pod
Ingress(http/https) --> service --->pod