30分钟学懂K8s--k8s教程

k8s系统架构

从系统架构来看，k8s分为2个节点
Master 控制节点 指挥官
Node 工作节点 干活的

1.Master节点组成

API Server ：提供k8s API接口
主要处理Rest操作以及更新Etcd中的对象
是所有资源增删改查的唯一入口。

Scheduler：资源调度器
根据etcd里的节点资源状态决定将Pod绑定到哪个Node上

Controller Manager
负责保障pod的健康存在
资源对象的自动化控制中心，Kubernetes集群有很多控制器。

Etcd
这个是Kubernetes集群的数据库
所有持久化的状态信息存储在Etcd中

master节点组成

API相当于命令,沟通API server

2.Node节点的组成

Docker Engine
负责节点容器的管理工作，最终创建出来的是一个Docker容器。

kubelet
安装在Node上的代理服务，用来管理Pods以及容器/镜像/Volume等，实现对集群对节点的管理。

kube-proxy
安装在Node上的网络代理服务，提供网络代理以及负载均衡，实现与Service通讯。

node节点组成

k8s逻辑架构

从逻辑架构上看，k8s分为 Pod Controller Service 1.POD POD是k8s的最小单位 POD的IP地址是随机的，删除POD会改变IP POD都有一个根容器 一个POD内可以由一个或多个容器组成 一个POD内的容器共享根容器的网络命名空间 一个POD的内的网络地址由根容器提供 2.Controller 用来管理POD 控制器的种类有很多 - RC Replication Controller 控制POD有多个副本 - RS ReplicaSet RC控制的升级版 - Deployment 推荐使用，功能更强大，包含了RS控制器 - DaemonSet 保证所有的Node上有且只有一个Pod在运行 - StatefulSet 有状态的应用，为Pod提供唯一的标识，它可以保证部署和scale的顺序 3.Service NodeIP CluterIP POD IP

DaemonSet

三个不通的ip

k8s安装

手动安装

https://www.kubernetes.org.cn/3096.html

涉及的命令

ipvsadm -Ln #查看ipvs规则 kubectl get pod #查看pod信息 kubectl get pod -o wide #查看pod的详细信息 ip labels kubectl get pod -n kube-system -o wide #指定查看某个命名空间的pod的详细信息 kubectl get nodes #查看节点信息 kubectl get nodes -o wide #查看节点详细信息 kubectl -n kube-system edit cm kube-proxy #编辑某个资源的配置文件 kubectl -n kube-system logs -f kube-proxy-7cdbn #查看指定命名空间里的指定pod的日志 kubectl create -f kube-flannel.yml #根据资源配置清单创建相应的资源 kubectl delete -f kube-flannel.yml #删除资源配置清单相应的资源 kubeadm reset #重置kubeadm节点 kubeadm token create --print-join-command #打印出node节点加入master节点的命令 kubeadm join 10.0.0.11:6443 --token uqf018.mia8v3i1zcai19sj --discovery-token-ca-cert-hash sha256:e7d36e1fb53e59b12f0193f4733edb465d924321bcfc055f801cf1ea59d90aae #node节点加入master的命令

实验环境准备：

配置信息： 主机名 IP地址 推荐配置 勉强配置 node1 10.0.0.11 1C4G40G 1C2G node2 10.0.0.12 1C2G40G 1C1G node3 10.0.0.13 1C2G40G 1C1G 初始化操作： 干净环境 关闭防火墙 关闭SELinux 配置时间同步 配置主机名 配置host解析 更新好阿里源 确保网络通畅 软件准备： harbor离线包 1.防火墙关闭 iptables -nL systemctl disable firewalld && systemctl stop firewalld iptables -F iptables -X iptables -Z iptables -nL 2.selinux关闭 getenforce grep "disabled" /etc/selinux/config setenforce 0 3.同不定时任务 * * * * * /sbin/ntpdate time1.aliyun.com > /dev/null 2>&1 4.临时关闭swap分区 swapoff -a 永久关闭 sed -ri 's/.*swap.*/#&/' /etc/fstab

安装部署docker

1.设置国内YUM源 cd /etc/yum.repos.d/ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 2.安装指定的docker版本 yum -y install docker-ce-18.09.7-3.el7 docker-ce-cli-18.09.7 3.设置docker使用阿里云加速 mkdir /etc/docker cat > /etc/docker/daemon.json <<EOF { "registry-mirrors": ["https://ig2l319y.mirror.aliyuncs.com"], "exec-opts": ["native.cgroupdriver=systemd"] } EOF 4.启动后台进程 systemctl enable docker && systemctl start docker 5.查看docker版本 docker -v

部署kubeadm和kubelet

部署kubeadm和kubelet 注意！所有机器都需要操作！！！ 注意！所有机器都需要操作！！！ 注意！所有机器都需要操作！！！ 1.设置k8s国内yum仓库 cat >/etc/yum.repos.d/kubernetes.repo<<EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF 2.安装kubeadm yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2 ipvsadm 3.设置k8s禁止使用swap cat > /etc/sysconfig/kubelet<<EOF KUBELET_CGROUP_ARGS="--cgroup-driver=systemd" KUBELET_EXTRA_ARGS="--fail-swap-on=false" EOF 4.设置内核参数 cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 EOF sysctl --system 5.设置kubelet开机启动 systemctl enable kubelet && systemctl start kubelet 6.加载IPVS模块 cat >/etc/sysconfig/modules/ipvs.modules<<EOF #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF chmod +x /etc/sysconfig/modules/ipvs.modules source /etc/sysconfig/modules/ipvs.modules lsmod | grep -e ip_vs -e nf_conntrack_ipv

node1节点初始化

1.初始化命令 https://v1-16.docs.kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm-init/ 注意！只在node1节点运行!!! 注意！只在node1节点运行!!! 注意！只在node1节点运行!!! kubeadm init \ --apiserver-advertise-address=10.0.0.11 \ --image-repository registry.aliyuncs.com/google_containers \ --kubernetes-version v1.16.2 \ --service-cidr=10.1.0.0/16 \ --pod-network-cidr=10.2.0.0/16 \ --service-dns-domain=cluster.local \ --ignore-preflight-errors=Swap \ --ignore-preflight-errors=NumCPU 执行完成后会有输出，这是node节点加入k8s集群的命令 =============================================== kubeadm join 10.0.0.11:6443 --token 2an0sn.kykpta54fw6uftgq \ --discovery-token-ca-cert-hash sha256:e7d36e1fb53e59b12f0193f4733edb465d924321bcfc055f801cf1ea59d90aae =============================================== 2.为kubectl准备kubeconfig mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config 3.获取node节点信息 [[email protected] ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION node1 NotReady master 15m v1.16. 4.支持命令补全 yum install bash-completion -y source /usr/share/bash-completion/bash_completion source <(kubectl completion bash) kubectl completion bash >/etc/bash_completion.d/kubectl 5.设置kube-proxy使用ipvs模式 #执行命令，然后将mode: ""修改为mode: "ipvs"然后保存退出 kubectl edit cm kube-proxy -n kube-system #重启kube-proxy kubectl get pod -n kube-system |grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}' #查看pod信息 kubectl get -n kube-system pod|grep "kube-proxy" #检查日志，如果出现IPVS rr就表示成功 [[email protected] ~]# kubectl -n kube-system logs -f kube-proxy-7cdbn I0225 08:03:57.736191 1 node.go:135] Successfully retrieved node IP: 10.0.0.11 I0225 08:03:57.736249 1 server_others.go:176] Using ipvs Proxier. W0225 08:03:57.736841 1 proxier.go:420] IPVS scheduler not specified, use rr by default #检查IPVS规则 [[email protected] ~]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 10.1.0.1:443 rr -> 10.0.0.11:6443 Masq 1 0 0 TCP 10.1.0.10:53 rr TCP 10.1.0.10:9153 rr UDP 10.1.0.10:53 rr

显示结果如下,安装成功

kubeadm join 10.0.0.11:6443 --token ahpc8m.eo6crouhvqw5p8e3 \ --discovery-token-ca-cert-hash sha256:b02959c21fddd87430985c7ee3a421c5c81c8d57434e258891a07f1b7faec543

为什么删除kube-proxy

node1部署网络插件

部署网络插件 1.部署Flannel网络插件 git clone --depth 1 https://github.com/coreos/flannel.git 2.修改资源配置清单 cd /root/flannel-master/Documentation vim kube-flannel.yml egrep -n "10.2.0.0|mirror|eth0" kube-flannel.yml 128: "Network": "10.2.0.0/16", 172: image: quay-mirror.qiniu.com/coreos/flannel:v0.11.0-amd64 186: image: quay-mirror.qiniu.com/coreos/flannel:v0.11.0-amd64 192: - --iface=eth0 #新增加 3.应用资源配置清单 kubectl create -f kube-flannel.yml 4.检查pod运行状态，等一会应该全是running [[email protected] ~]# kubectl -n kube-system get pod NAME READY STATUS RESTARTS AGE coredns-58cc8c89f4-bzlkw 1/1 Running 0 77m coredns-58cc8c89f4-sgs44 1/1 Running 0 77m etcd-node1 1/1 Running 0 76m kube-apiserver-node1 1/1 Running 0 76m kube-controller-manager-node1 1/1 Running 0 76m kube-flannel-ds-amd64-cc5g6 1/1 Running 0 3m10s kube-proxy-7cdbn 1/1 Running 0 23m kube-scheduler-node1 1/1 Running 0 76m

修改错配置文件

解决办法:

查看pod信息 kubectl get -n kube-system pod|grep "kube-proxy" kubectl -n kube-system logs -f +pod对应的信息 503报错 防火墙没关 在目录里操作： 第一步 kubectl delete -f kube-flannel.yml 第二步 cp kube-flannel.yml /opt 第三部 rm -rf kube-flannel.yml 然后把老师拖进来任意目录下 最后执行kubectl create -f kube-flannel.yml 查看kubectl -n kube-system get pod

node2-3节点执行

1.在master节点上输出增加节点的命令 kubeadm token create --print-join-command 2.在node2和node3节点执行加入集群的命令 每个人的token不一样 kubeadm join 10.0.0.11:6443 --token uqf018.mia8v3i1zcai19sj --discovery-token-ca-cert-hash sha256:e7d36e1fb53e59b12f0193f4733edb465d924321bcfc055f801cf1ea59d90aae 3.在node1节点上查看状态 kubectl get nodes 4.给其他节点打标签 kubectl label nodes node2 node-role.kubernetes.io/node= kubectl label nodes node3 node-role.kubernetes.io/node= 5.再次查看节点状态 [[email protected] ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION node1 Ready master 171m v1.16.2 node2 Ready node 27m v1.16.2 node3 Ready node 27m v1.16.2

常用资源类型

1.工作负载类型 RC ReplicaController RS ReplicaSet DP Deployment DS DaemonSet 2.服务发现及负载均衡 Service Ingress 3.配置与存储资源 ConfigMap 存储配置文件 Secret 存储用户字典 4.集群级别资源 Namespace Node Role ClusterRole RoleBinding ClusterRoleBinding

资源配置清单

1.创建资源的方法 apiserver仅能接受json格式的资源定义 yaml格式提供的清单，apiserver可以自动将其转换为json格式再提交 2.资源清单介绍 查看资源清单所需字段 kubectl explain pod 资源清单字段介绍 apiVersion: v1 #属于k8s哪一个API版本或组 kind: Pod #资源类型 metadata: #元数据，嵌套字段 spec: #定义容器的规范，创建的容器应该有哪些特性 status: #只读的，由系统控制，显示当前容器的状态 json嵌套 { 1级： { 2级： { 3级：Value } } } 3.查看资源清单嵌套的命令 kubectl explain pod kubectl explain pod.spec kubectl explain pod.spec.volumes 4.使用命令行创建一个pod kubectl create deployment nginx --image=nginx:alpine kubectl get pod -o wide 5.将刚才创建的pod配置到处成yaml格式 kubectl get pod -o yaml > nginx-pod.yaml 精简资源清单，删掉不需要的配置 cat nginx-pod.yaml apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx spec: containers: - name: nginx image: nginx:alpine imagePullPolicy: IfNotPresent ports: - name: http containerPort: 80 json格式写法： { apiVersion: "v1", kind: "Pod", metadata: { name: "nginx", labels: { app: "nginx" } } spec: { containers: { name: "nginx", image: "nginx:alpine", imagePullPolicy: "IfNotPresent" } } } 删除命令行创建的资源 kubectl delete deployments.apps nginx 应用资源配置清单 kubectl create -f nginx-pod.yaml 查看pod信息 kubectl get pod -o wide 查看pod详细信息 kubectl describe pod nginx 6.POD资源清单总结 声明式管理 我想运行一个Nginx k8s帮你干活 apiVersion: v1 #api版本 kind: Pod #资源类型 metadata: #元数据 name: nginx #元数据名称 labels: #pod标签 app: nginx spec: #容器定义 containers: #容器的特性 - name: nginx #容器名称 image: nginx:alpine #容器的镜像名称 imagePullPolicy: IfNotPresent #容器的拉取策略 ports: #容器端口 - name: http containerPort: 80 #容器暴露的端口

升级版本

改变资源配置清单版本 image: "nginx:alpine", 执行 kubectl apply -f nginx-pod.yaml

容器打标签

1.标签说明 一个标签可以给多个POD使用 一个POD也可以拥有多个标签 2.查看POD标签 kubectl get pod --show-labels 3.添加标签方法 方法1:直接编辑资源配置清单： apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx release: beta ---------------------- 方法2:命令行打标签 kubectl label pods nginx release=beta kubectl label pods nginx job=linux kubectl get pod --show-labels 4.删除标签 kubectl label pod nginx job- kubectl get pod --show-labels 5.实验: 生成2个POD，打上不同的标签，然后根据标签选择 kubectl create deployment nginx --image=nginx:1.14.0 kubectl get pod --show-labels kubectl label pods nginx-xxxxxxxx release=stable kubectl get pod --show-labels 根据条件查看 kubectl get pods -l release=beta --show-labels kubectl get pods -l release=stable --show-labels 根据条件删除 kubectl delete pod -l app=nginx

Node打标签

Node打标签 1.查看node的标签 kubectl get node --show-labels 2.给node打标签 kubectl label nodes node2 CPU=Xeon kubectl label nodes node3 disktype=ssd 3.编辑POD资源配置清单，使用node标签选择器 apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx spec: containers: - name: nginx image: nginx:1.14.0 imagePullPolicy: IfNotPresent ports: - name: http containerPort: 80 nodeSelector: #CPU: Xeon disktype: SSD 4.删除容器重新创建 kubectl delete pod nginx kubectl create -f nginx-pod.yaml 5.查看结果 kubectl get pod -o wide 6.删除节点标签

部署harbor作为k8s镜像仓库

部署harbor作为k8s镜像仓库 1.实验目标 部署k8s私有镜像仓库harbor 把demo小项目需要的镜像上传到harbor上 修改demo项目的资源配置清单，镜像地址修改为harbor的地址 2.在node1上安装harbor cd /opt/ tar zxf harbor-offline-installer-v1.9.0-rc1.tgz cd harbor/ 3.编辑harbor配置文件 vim harbor.yml hostname: 10.0.0.11 port: 8888 harbor_admin_password: 123456 data_volume: /data/harbor 4.执行安装 yum install docker-compose -y ./install.sh 5.浏览器访问 http://10.0.0.11:8888 admin 123456 6.建立镜像仓库 这里有2种访问级别： 公开：任何人都可以直接访问并下载镜像 私有：登陆授权后才允许下载镜像 如果创建私有仓库，k8s是不能直接下载的，需要配置安全文件 7.所有节点都配置docker信任harbor仓库并重启docker cat >/etc/docker/daemon.json <<EOF { "registry-mirrors": ["https://ig2l319y.mirror.aliyuncs.com"], "exec-opts": ["native.cgroupdriver=systemd"], "insecure-registries" : ["http://10.0.0.11:8888"] } EOF systemctl restart docker ###############注意############### 在node1上重启docker后，如果harbor不正常了，重启harbor即可 cd /opt/harbor docker-compose restart 8.docker登陆harbor docker login 10.0.0.11:8888 admin 123456 9.在相对的节点上下载镜像修改tag并push到harbor上 查看节点分布 kubectl get pods -o wide 在node2上执行 docker login 10.0.0.11:8888 docker tag kubeguide/tomcat-app:v1 10.0.0.11:8888/k8s/tomcat-app:v1 docker tag mysql:5.7 10.0.0.11:8888/k8s/mysql:5.7 docker push 10.0.0.11:8888/k8s/tomcat-app:v1 docker push 10.0.0.11:8888/k8s/mysql:5.7 10.节点上删除镜像 docker rmi mysql:5.7 docker rmi kubeguide/tomcat-app:v1 docker rmi 10.0.0.11:8888/k8s/mysql:5.7 docker rmi 10.0.0.11:8888/k8s/tomcat-app:v1 11.node1节点删除以前的demo项目 kubectl delete -f tomcat-demo.yaml 12.修改demo项目的资源配置清单里的镜像地址 直接第15开始 image: 10.0.0.11:8888/k8s/mysql:5.7 image: 10.0.0.11:8888/k8s/tomcat-app:v1 13.应用资源配置清单 kubectl create -f tomcat-demo.yaml 14.报错 此时查看pod状态会发现镜像拉取失败了 [[email protected] ~/demo]# kubectl get pod NAME READY STATUS RESTARTS AGE mysql-7d746b5577-jcs7q 0/1 ImagePullBackOff 0 8s myweb-764df5ffdd-fptn9 0/1 ImagePullBackOff 0 8s myweb-764df5ffdd-pmkz7 0/1 ErrImagePull 0 8s 查看pod创建的详细信息 kubectl describe pod mysql-7d746b5577-jcs7q 关键报错信息： Failed to pull image "10.0.0.11:8888/k8s/mysql:5.7": rpc error: code = Unknown desc = Error response from daemon: pull access denied for 10.0.0.11:8888/k8s/mysql, repository does not exist or may require 'docker login' 15.查看docker登陆的密码文件 docker login 10.0.0.11:8888 cat /root/.docker/config.json 16.将docker密码文件解码成base64编码 [[email protected] ~/demo]# cat /root/.docker/config.json|base64 ewoJImF1dGhzIjogewoJCSIxMC4wLjAuMTE6ODg4OCI6IHsKCQkJImF1dGgiOiAiWVdSdGFXNDZN VEl6TkRVMiIKCQl9Cgl9LAoJIkh0dHBIZWFkZXJzIjogewoJCSJVc2VyLUFnZW50IjogIkRvY2tl ci1DbGllbnQvMTguMDkuOSAobGludXgpIgoJfQp9 17.创建并应用docker登陆的Secret资源(master节点执行) 注意！！！ 1.dockerconfigjson: xxx直接写base64的编码，不需要换行 2.base64编码是一整行，不是好几行 3.最后的type字段不能少 cat >harbor-secret.yaml<<EOF apiVersion: v1 kind: Secret metadata: name: harbor-secret data: .dockerconfigjson: ewoJImF1dGhzIjogewoJCSIxMC4wLjAuMTE6ODg4OCI6IHsKCQkJImF1dGgiOiAiWVdSdGFXNDZNVEl6TkRVMiIKCQl9Cgl9LAoJIkh0dHBIZWFkZXJzIjogewoJCSJVc2VyLUFnZW50IjogIkRvY2tlci1DbGllbnQvMTguMDkuOSAobGludXgpIgoJfQp9 type: kubernetes.io/dockerconfigjson EOF kubectl create -f harbor-secret.yaml kubectl get secrets 18.修改demo资源配置清单，添加拉取镜像的参数 查看命令帮助 kubectl explain deployment.spec.template.spec.imagePullSecrets 修改文件 image: 10.0.0.11:8888/k8s/mysql:5.7 image: 10.0.0.11:8888/k8s/tomcat-app:v1 ---------------------------- imagePullSecrets: - name: harbor-secret 添加两处 ---------------------------- 19.应用资源配置清单并查看 kubectl create -f tomcat-demo.yaml kubectl get pod -o wide 20.浏览器查看 http://10.0.0.11:30001/demo

转载请注明出处：http://www.weixuecn.cn/article/11410.html