记一次故障-Rancher界面突然无法访问，且K8s集群无法访问_cannot exec in a stopped state: unknown

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

宽容的山楂 · c语言pkcs12导出公钥pem,从PKCS ...· 1 年前 ·

绅士的围巾 · cv2 imencode jpg ...· 1 年前 ·

眼睛小的香烟 · ggpubr|让数据可视化更加优雅（上）-阿 ...· 1 年前 ·

公司使用 docker 单节点方式部署 rancher ，利用 rancehr 来操作 k8s集群 ，有一天要访问 rancher ui 时，发现打不开，然后部署的所有容器也都不能使用，立马到服务器上查看情况，发现 rancher 容器还在，然后尝试进入容器时，报了错 cannot exec in a stopped state: unknown ，然后尝试查看 rancher 日志，发现可以查看

E0712 15:47:03.730752       6 reflector.go:307] github.com/rancher/norman/controller/generic_controller.go:229: Failed to watch *v3.ProjectCatalog: Get https://127.0.0.1:6443/apis/management.cattle.io/v3/watch/projectcatalogs?allowWatchBookmarks=true&resourceVersion=155367341&timeout=30m0s&timeoutSeconds=574: dial tcp 127.0.0.1:6443: connect: connection refused
E0712 15:47:03.730790       6 reflector.go:307] github.com/rancher/norman/controller/generic_controller.go:229: Failed to watch *v3.Catalog: Get https://127.0.0.1:6443/apis/management.cattle.io/v3/watch/catalogs?allowWatchBookmarks=true&resourceVersion=155367339&timeout=30m0s&timeoutSeconds=404: dial tcp 127.0.0.1:6443: connect: connection refused
E0712 15:47:02.947639       6 reflector.go:307] github.com/rancher/norman/controller/generic_controller.go:229: Failed to watch *v3.KontainerDriver: Get https://127.0.0.1:6443/apis/management.cattle.io/v3/watch/kontainerdrivers?allowWatchBookmarks=true&resourceVersion=155367345&timeout=30m0s&timeoutSeconds=481: dial tcp 127.0.0.1:6443: connect: connection refused
E0712 15:47:03.730823       6 reflector.go:307] github.com/rancher/norman/controller/generic_controller.go:229: Failed to watch *v3.Pipeline: Get https://127.0.0.1:6443/apis/project.cattle.io/v3/watch/pipelines?allowWatchBookmarks=true&resourceVersion=155367348&timeout=30m0s&timeoutSeconds=568: dial tcp 127.0.0.1:6443: connect: connection refused
E0712 15:47:03.730842       6 reflector.go:307] github.com/rancher/norman/controller/generic_controller.go:229: Failed to watch *v1.Namespace: Get https://127.0.0.1:6443/api/v1/watch/namespaces?allowWatchBookmarks=true&resourceVersion=155367325&timeout=30m0s&timeoutSeconds=449: dial tcp 127.0.0.1:6443: connect: connection refused
E0712 15:47:02.947667       6 reflector.go:307] github.com/rancher/norman/controller/generic_controller.go:229: Failed to watch *v3.RKEK8sSystemImage: Get https://127.0.0.1:6443/apis/management.cattle.io/v3/watch/rkek8ssystemimages?allowWatchBookmarks=true&resourceVersion=155367347&timeout=30m0s&timeoutSeconds=504: dial tcp 127.0.0.1:6443: connect: connection refused
2021/07/12 15:47:03 [FATAL] k3s exited with: exit status 255
通过日志发现，k3s exited with: exit status 255以及127.0.0.1:6443: connect: connection refused，因为6443是kube-apiserver所以估计应该是k8s集群的问题，然后查询了一下255这个状态，在githab上发现 
下面有一个回复（利用chrome浏览器自动翻译）
  
以及另外一篇博文跟我的情况比较像
  
下面是一条回复 
估计应该是k3s崩了，于是重启了一下对应机器，发现k3s正常运行了，但是rancher却没有启动，重启rancher的docker容器 
docker resatrt rancher
发现443端口被占用 
于是通过命令查找占用443端口的进程 
netstat -tunlp|grep 443
发现是nginx占用了，但是这台机器并没有安装nginx，于是根据pid查看nginx所在位置 
cd /proc/92922/cwd
发现有nginx配置，编辑nginx.conf发现有很多ingress-controller的配置，于是猜测这个nginx是ingress-controller容器的，于是查看ingress-controller的信息 
docker inspect ingress_controller 
发现其确实占用了443端口，于是先停止ingress-controller，再启动rancher，再重启ingress_controller 
docker stop ingress_controller
docker restart rancher
docker restart ingress_controller
                    公司使用docker单节点方式部署rancher，利用rancehr来操作k8s集群，有一天要访问rancher ui时，发现打不开，然后部署的所有容器也都不能使用，立马到服务器上查看情况，发现rancher容器还在，然后尝试进入容器时，报了错cannot exec in a stopped state: unknown，然后尝试查看rancher日志，发现可以查看E0712 15:47:03.730752       6 reflector.go:307] github.com/rancher/norm
				解决Rancher2.5x版本突然无法使用（证书过期大BUG）
文章目录解决Rancher2.5x版本突然无法使用（证书过期大BUG）1.Rancher突然无法使用的前因后果1.1.缘由1.2.导致问题产生的因素点2.冷静分析即刻处理问题2.1.排查问题的思路以及过程2.2.Rancher的日志为什么说证书过期了？2.3.解决证书过期的BUG2.4.浏览器再次访问Rancher验证问题是否解决3.Rancher对于此问题的解决方案
1.Rancher突然无法使用的前因后果
1.1.缘由
Rancher可视化
				K8S仪表板Service unavailable故障的解决办法
（使用Rancher部署Kubernetes后访问仪表板提示Service
 unavailable的问题）
一、逐项检查：
1、操作系统Kernel版本（3.10以上）
2、检查OS版本（Ubuntu16.04.x、CentOS 7.x）
3、检查Docker版本（必须是1.12.3-1.12.6,K8S1.7.
Centos安装-Docker安装-Rancher安装（一）： Centos安装
Centos安装-Docker安装-Rancher安装（二）： Docker安装
Centos安装-Docker安装-Rancher安装（三）： Rancher安装
VMWare版本：workstations16 PRO
Centos版本：CentOS-8.3.2011-x86_64-dvd1.iso
Docker版本：version 20.10.7
Rancher版本：2.5.9
下载地址：
Vmware
Error getting IP address: ssh command error:
command : ip addr show
err     : exit status 255
看起来是拿不到ip，因为在windows上，docker在virtualbox上，...
				Rancher是一个开源的容器管理平台，可以用来搭建和管理Kubernetes集群。使用Rancher搭建Kubernetes集群的步骤可以分为三个主要部分：虚拟机环境配置、安装Rancher和通过Rancher安装Kubernetes集群。
在虚拟机环境配置部分，你需要配置一台或多台虚拟机作为Kubernetes集群的节点。这包括设置虚拟机的操作系统和资源分配等配置。
接下来，在安装Rancher的部分，你需要在Docker中安装Rancher，这将提供一个可视化的管理界面来管理和监控Kubernetes集群。
最后，在通过Rancher安装Kubernetes集群的部分，你需要按照一系列步骤来配置和安装Kubernetes集群。这包括安装RKE和kubectl工具、使用RKE安装Kubernetes、设置环境变量、安装和配置Helm等。
当然，如果你想清理Rancher创建的Kubernetes集群，还可以按照相应的步骤进行清理操作。
综上所述，使用Rancher搭建Kubernetes集群的主要步骤包括虚拟机环境配置、安装Rancher和通过Rancher安装Kubernetes集群。<span class="em">1</span>
#### 引用[.reference_title]
-  *1* [Rancher搭建k8s集群](https://blog.csdn.net/aa18855953229/article/details/112200578)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]