一、前言在容器化技术普及的今天Kubernetes 已成为云原生应用的事实标准。然而对于内网环境、安全隔离场景或网络条件受限的企业而言在线拉取镜像和依赖往往难以实现。本文将详细介绍如何在完全离线的环境下使用自动化部署工具快速搭建一套企业级容器云 PaaS 平台。本方案基于Kubernetes 1.25.2集成Harbor镜像仓库、Istio服务网格、Prometheus Grafana监控告警、KubeVirt虚拟化管理以及可视化 Web 控制台适用于技能大赛、企业内网实训及生产环境私有化部署。二、环境规划与准备2.1 节点规划本次部署采用最小高可用架构1 个 Master 控制节点 1 个 Worker 计算节点。节点角色主机名IP 地址CPU内存磁盘系统Mastermaster192.168.20.1002×4 核8GB100GBCentOS 7.9Workernode192.168.20.1102×4 核8GB100GBCentOS 7.9说明Master 节点同时承担控制平面和部分工作负载Worker 节点专门运行业务容器。实际生产环境建议至少 3 个 Master 节点实现控制平面高可用。 阿里云新用户专属入口享首购1折代金券https://www.aliyun.com/minisite/goods?userCodeiakscw7s2.2 离线资源包清单在开始部署前需准备以下离线资源包通常以 ISO 镜像或 tar.gz 形式提供资源包名称说明chinaskills_cloud_paas_v2.1.iso主安装镜像包含 kubeeasy 工具及所有容器镜像kubeeasy.tar.gzKubernetes 集群部署工具包packages.tar.gz系统依赖 RPM 包集合Docker、containerd、kubelet 等三、基础环境配置所有节点均需执行以下基础配置确保系统环境满足容器云平台部署要求。3.1 配置静态 IP 地址确保两节点已配置静态 IP并能互相通信。以 CentOS 7.9 为例编辑网卡配置文件# 示例Master 节点网卡配置vi/etc/sysconfig/network-scripts/ifcfg-eth0# 关键配置项BOOTPROTOstaticIPADDR192.168.20.100NETMASK255.255.255.0GATEWAY192.168.20.1DNS1192.168.20.1ONBOOTyes配置完成后重启网络服务systemctl restart network3.2 设置主机名分别在两节点上设置主机名便于后续识别和管理# Master 节点hostnamectl set-hostname masterbash# Worker 节点hostnamectl set-hostnamenodebash3.3 关闭防火墙容器云平台涉及大量端口通信为避免防火墙规则干扰集群组件间的通信建议关闭系统防火墙# 两节点均执行systemctl stop firewalld systemctl disable firewalld生产环境建议如需保留防火墙可针对性开放 Kubernetes 所需端口6443、10250、2379-2380、10251、10252 等而非直接关闭。3.4 关闭 SELinuxSELinux 的强制策略可能限制容器进程的文件访问权限导致 Pod 无法正常启动。将其设置为宽容模式或完全关闭# 临时关闭立即生效setenforce0# 永久关闭重启后生效sed-is/SELINUXenforcing/SELINUXdisabled/g/etc/selinux/config3.5 配置主机名映射在 Master 节点上编辑/etc/hosts文件添加两节点的 IP 与主机名映射cat/etc/hostsEOF 192.168.20.100 master 192.168.20.110 node EOF通过scp将配置同步到 Worker 节点确保两节点互相解析scp/etc/hosts root192.168.20.110:/etc/hosts输入 node 节点的 root 密码完成传输。同步后在两节点上分别执行ping master和ping node验证连通性。3.6 配置 SSH 免密登录可选但推荐kubeeasy 工具通过 SSH 批量操作节点配置免密登录可简化部署流程# 在 Master 节点执行ssh-keygen-trsa-P-f~/.ssh/id_rsa ssh-copy-id root192.168.20.100 ssh-copy-id root192.168.20.1103.7 时间同步确保两节点时间一致避免因时间偏差导致证书验证失败# 安装并启用 NTPyuminstall-yntpdate ntpdate-untp.aliyun.com# 写入定时任务每 10 分钟同步一次echo*/10 * * * * /usr/sbin/ntpdate -u ntp.aliyun.com/var/spool/cron/root四、离线资源部署4.1 上传镜像包到 Master 节点使用 SFTP 工具将chinaskills_cloud_paas_v2.1.iso上传到 Master 节点的/root目录下。上传完成后验证文件完整性ls-lh/root/chinaskills_cloud_paas_v2.1.iso4.2 挂载 ISO 镜像将 ISO 镜像挂载到/mnt目录提取其中的部署资源到/opt目录# 创建挂载点并挂载ISO 通常为只读mount-oloop /root/chinaskills_cloud_paas_v2.1.iso /mnt/# 将资源复制到 /opt 目录便于后续操作cp-r/mnt/* /opt/# 卸载 ISO 释放挂载点umount/mnt/# 查看资源结构ls/opt/预期输出应包含dependencies/系统依赖包目录kubeeasy.tar.gz集群部署工具kubeeasy-v2.0可执行二进制文件4.3 安装 kubeeasy 部署工具将 kubeeasy 二进制文件移动到系统 PATH 路径使其全局可调用mv/opt/kubeeasy-v2.0 /usr/bin/kubeeasychmodx /usr/bin/kubeeasy验证安装kubeeasy--version4.4 分发并安装系统依赖包进入依赖包目录解压并安装所有 RPM 包cd/opt/dependencies/tar-zxvfpackages.tar.gzcdpackages yum-yinstall*.rpmWorker 节点同步执行在 Master 节点上将依赖包远程拷贝到 Worker 节点scp/opt/dependencies/packages.tar.gz root192.168.20.110:/opt/然后在 Worker 节点上执行相同的解压安装操作cd/opt/tar-zxvfpackages.tar.gzcdpackages yum-yinstall*.rpm依赖包内容说明通常包含 containerd、docker-ce、kubelet、kubectl、kubeadm、helm、cri-tools 等容器及 Kubernetes 基础组件。五、部署 Kubernetes 集群5.1 安装集群依赖环境使用 kubeeasy 工具为所有节点安装并配置 Kubernetes 运行所需的系统环境内核参数、模块加载、CNI 插件准备等kubeeasyinstalldepend\--host192.168.20.100,192.168.20.110\--userroot\--password000000\--offline-file /opt/dependencies/packages.tar.gz参数说明--host指定所有节点 IP逗号分隔--user节点登录用户名--password节点登录密码--offline-file离线依赖包路径执行成功后日志将显示各节点依赖安装完成的提示。5.2 部署 Kubernetes 集群执行核心部署命令安装 Kubernetes 1.25.2 集群并集成 PaaS 平台组件kubeeasyinstallkubernetes\--master192.168.20.100\--worker192.168.20.110\--userroot\--password000000\--version1.25.2\--offline-file /opt/kubeeasy.tar.gz参数说明--master指定 Master 节点 IP--worker指定 Worker 节点 IP多个 Worker 用逗号分隔--versionKubernetes 版本号--offline-file离线集群资源包部署过程说明该过程约需10-20 分钟具体时长取决于服务器性能工具会自动完成容器运行时安装、Kubernetes 控制平面初始化、CNI 网络插件部署、Worker 节点加入、CoreDNS 配置、平台组件Harbor、Istio、Prometheus、KubeVirt 等安装期间若报错请检查前几步的环境配置是否遗漏或查看日志/var/log/kubeinstall.log六、集群状态验证6.1 查看节点状态在 Master 节点上执行kubectl get nodes预期输出NAME STATUS ROLES AGE VERSION k8s-master-node1 Ready control-plane 9m v1.25.2 k8s-worker-node1 Ready none 8m v1.25.2两节点均应显示Ready状态。若节点处于NotReady请检查网络插件Flannel/CalicoPod 是否正常运行。6.2 查看平台组件 Pod查看所有命名空间下的 Pod 运行状态kubectl get pods-A预期应看到以下关键组件均为Running状态命名空间组件说明harborharbor-core、harbor-database、harbor-nginx 等企业级镜像仓库istio-systemgrafana、prometheus、jaeger、kiali服务网格与可观测性kube-systemcoredns、etcd、kube-apiserver、kube-controller-manager、kube-scheduler、kube-flannel、kube-proxyKubernetes 核心系统组件kubevirtvirt-api、virt-controller、virt-handler、virt-operator虚拟机管理KubeVirtkubernetes-dashboardkubernetes-dashboard、dashboard-metrics-scraper可视化监控面板若发现 Pod 处于CrashLoopBackOff或Pending状态可通过以下命令排查# 查看 Pod 详细事件kubectl describe podpod-name-nnamespace# 查看容器日志kubectl logspod-name-nnamespace--tail100七、Web 平台访问与初始化7.1 重启所有节点部署完成后必须重启所有节点Master 和 Worker以确保所有内核模块、系统服务及容器网络配置完全生效# 两节点分别执行reboot注意若未重启直接访问 Web 控制台可能出现平台实例超时的提示要求重新启动平台。7.2 访问 PaaS 控制台节点重启完成后通过浏览器访问容器云 PaaS 平台http://任意节点IP:30777例如http://192.168.20.100:30777首次访问将看到新平台安装页面要求创建初始管理员账号用户名默认admin密码需设置至少 12 位的强密码确认密码与上述密码一致点击创建用户完成初始化之后即可使用 admin 账号登录平台。7.3 平台功能概览登录后企业级容器云 PaaS 平台通常提供以下核心能力功能模块说明集群管理查看节点资源、命名空间、集群事件应用部署通过表单或 YAML 部署容器应用支持 Deployment、StatefulSet、DaemonSet 等服务网格基于 Istio 的流量管理、灰度发布、熔断限流镜像仓库集成 Harbor管理容器镜像的推送、拉取与版本控制虚拟机管理基于 KubeVirt 在 Kubernetes 中运行传统虚拟机实现容器与 VM 统一调度监控告警基于 Prometheus Grafana 的集群资源监控、自定义告警规则日志中心集中收集和分析容器 stdout 日志及文件日志7.4 访问 Harbor 镜像仓库Harbor 作为平台内置的镜像仓库可通过以下方式访问# 查看 Harbor 服务端口kubectl get svc-nharbor通常 Harbor 的 Web 界面通过 NodePort 暴露如30002端口。浏览器访问http://节点IP:Harbor-NodePort默认账号密码通常为admin / Harbor12345具体以实际部署版本为准。登录后可创建项目、管理镜像、配置复制规则等。八、常见问题与排查8.1 节点状态 NotReady现象kubectl get nodes显示某节点NotReady排查步骤检查节点 kubelet 服务systemctl status kubelet查看节点详细状态kubectl describe node node-name关注Conditions字段检查网络插件 Podkubectl get pods -n kube-system | grep flannel检查节点磁盘空间df -hkubelet 在磁盘不足时会驱逐 Pod8.2 Pod 一直处于 Pending可能原因节点资源不足CPU/内存没有合适的存储类PVC 无法绑定节点存在污点TaintPod 无法容忍排查命令kubectl describe podpod-name-nnamespace# 查看 Events 字段中的具体调度失败原因8.3 Web 控制台提示超时现象访问:30777显示平台实例超时需要重新启动平台解决方案严格按照部署流程重启所有节点后再访问。该提示是平台的安全机制确保所有后台服务完全就绪。8.4 离线部署时镜像拉取失败即使使用离线包部分场景可能仍尝试从公网拉取镜像。检查各节点是否配置了正确的镜像仓库地址指向本地 Harbor 或离线包内置仓库并确认 containerd/docker 的daemon.json中配置了 insecure-registries。九、架构组件深度解析9.1 Harbor企业级镜像仓库Harbor 提供安全的镜像存储、签名扫描Trivy、复制同步及 RBAC 权限管理。在离线环境中它是整个平台的镜像分发中枢所有 Kubernetes 节点从 Harbor 拉取业务镜像。9.2 Istio服务网格Istio 为微服务应用提供流量管理、安全通信和可观测性能力无需修改业务代码即可实现智能路由金丝雀发布、A/B 测试负载均衡与故障恢复mTLS 自动加密分布式追踪Jaeger9.3 Prometheus Grafana监控体系Prometheus负责采集集群节点、Pod、容器及自定义业务的指标数据Grafana提供可视化仪表盘预设 Kubernetes 集群监控模板支持自定义告警阈值9.4 KubeVirt虚拟化能力KubeVirt 允许在 Kubernetes 集群中运行和管理传统虚拟机实现容器 虚拟机的统一云原生基础设施。适用于需要同时运行容器化应用和传统 VM 工作负载的混合场景。十、总结本文完整演示了在完全离线环境下从基础环境配置到企业级容器云 PaaS 平台部署的全流程。通过 kubeeasy 自动化工具大幅简化了 Kubernetes 及其生态组件的部署复杂度使得在内网或隔离环境中快速构建云原生平台成为可能。关键要点回顾基础环境务必规范主机名、hosts、防火墙、SELinux、时间同步缺一不可离线资源包需完整上传并正确挂载提取依赖安装和集群部署两条命令顺序执行耐心等待部署完成后必须重启所有节点再访问 Web 控制台善用kubectl命令排查集群和 Pod 状态这套平台不仅适用于技能竞赛和教学实训其架构设计Harbor Istio 监控 KubeVirt也具备向生产环境演进的能力。后续可根据业务需求扩展 Worker 节点、配置持久化存储Ceph/Rook及完善多租户网络隔离策略。