K3s Kubernetes Cluster HA
Container orchestration HA — 3 control planes + 3 workers trên Proxmox.
Bối cảnh & Lý do triển khai
Khi số lượng microservice và container trong hạ tầng tăng lên, việc quản lý thủ công từng container trên VM riêng lẻ không còn khả thi. K3s là bản phân phối Kubernetes gọn nhẹ của Rancher Labs, tối ưu cho môi trường on-premise và edge, tiêu thụ ít RAM/CPU hơn upstream Kubernetes mà vẫn tương thích hoàn toàn với kubectl và Helm ecosystem. Cluster HA với 3 control plane node dùng embedded etcd loại bỏ điểm lỗi đơn cho API server.
kube-vip cung cấp Virtual IP 10.11.65.55 cho API server để tất cả worker và admin luôn connect đến một endpoint duy nhất bất kể node nào down. MetalLB cấp LoadBalancer IP cho Ingress và các service, cert-manager tự động cấp TLS từ step-CA PKI nội bộ, và Traefik xử lý HTTP/HTTPS routing vào cluster.
| Mục | Nội dung |
|---|---|
| Ứng dụng trong doanh nghiệp | Chạy ArgoCD, Prometheus, Harbor, và toàn bộ workload containerized |
| Tác dụng chính | Container orchestration, auto-scaling, service discovery, rolling updates, declarative GitOps |
| Nếu không triển khai | Mỗi service phải quản lý thủ công trên VM riêng, không có tính nhất quán, không tự phục hồi |
| Các service phụ thuộc vào đây | ArgoCD (bài 29), kube-prometheus-stack, cert-manager, Traefik ingress, Harbor, Velero backup |
Ngày cập nhật: 2026-10-15 (nâng 6 node lên Ubuntu Server 24.04 LTS; ghim K3s v1.36.5+k3s1; nâng cert-manager lên v1.21.2)
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
| k3s-cp01 (K3s control plane) · VM260 | 10.11.65.60 | 65 (SRV) · node1 | Control plane khởi tạo cụm (--cluster-init, etcd nhúng), đặt manifest kube-vip trước khi K3s chạy; tắt VM này để thử HA. |
| k3s-cp02 (K3s control plane) · VM261 | 10.11.65.61 | 65 (SRV) · node2 | Control plane join cụm qua VIP API cổng 6443 bằng token chung, cài sau cp01 và chờ node Ready. |
| k3s-cp03 (K3s control plane) · VM262 | 10.11.65.62 | 65 (SRV) · node3 | Control plane join cụm như cp02 sau khi cp02 Ready, đủ 3 control plane dùng etcd nhúng cho HA. |
| k3s-worker01 (K3s worker) · VM263 | 10.11.65.63 | 65 (SRV) · node1 | Worker (K3s agent) join qua VIP API cổng 6443 bằng token chung; gán nhãn node-role worker từ cp01. |
| k3s-worker02 (K3s worker) · VM264 | 10.11.65.64 | 65 (SRV) · node2 | Worker (K3s agent) join cụm như worker01 và được gán nhãn node-role worker. |
| k3s-worker03 (K3s worker) · VM265 | 10.11.65.65 | 65 (SRV) · node3 | Worker (K3s agent) join cụm như worker01 và được gán nhãn node-role worker. |
| K3s API VIP (kube-vip) | 10.11.65.55 | 65 (SRV) · — (VIP) | VIP của kube-vip (ARP, ens18) cho API server cổng 6443; node join và kubeconfig trên máy admin đều trỏ vào VIP. |
| K3s Ingress VIP (MetalLB + Traefik) | 10.11.65.100 | 65 (SRV) · — (VIP) | IP LoadBalancer do MetalLB cấp cho Service Traefik (Ingress HTTPS); Pi-hole trỏ traefik và grafana-k8s về địa chỉ này. |
| pihole (Pi-hole DNS) · VM247 | 10.11.45.53 | 45 (MGMT) · node3 | DNS của các node (nameserver trong netplan); thêm bản ghi k3s về VIP API, traefik và grafana-k8s về VIP Ingress (bài 12). |
| step-ca (step-CA PKI) · VM242 | 10.11.25.42 | 25 (SEC) · node1 | Cấp TLS cho cert-manager qua ClusterIssuer step-ca-issuer (ACME cổng 9000); root CA được tin cậy trên cả 6 node (bài 13). |
| authentik (Authentik SSO) · VM234 | 10.11.25.40 | 25 (SEC) · node1 | Nhà cung cấp OIDC cho kubectl RBAC: kube-apiserver nhận token Authentik, nhóm k3s-admins ánh xạ cluster-admin (bài 14). |
| prometheus (Prometheus + Alertmanager) · VM235 | 10.11.45.35 | 45 (MGMT) · node2 | Nhận remote_write từ Prometheus của kube-prometheus-stack qua /api/v1/write cổng 9090 (bài 15). |
| pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | Nhận backup file-level (etcd snapshot, /etc/rancher/k3s); mỗi node một token vm-backup và namespace riêng, vd. vm-k3s-cp01 (bài 04). |
| syno-primary (Synology NAS) | 10.11.45.16 | 45 (MGMT) · NAS | NAS chứa datastore syno-primary lưu backup của 6 node K3s, mỗi node một namespace; cron chạy 2:30 hằng ngày (bài 04). |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Sáu VM K3s rải đều trên node1, node2, node3 (mỗi node một control plane và một worker; xem cột VLAN · Node).
Thông tin VM
Control Plane Nodes (×3) · Worker Nodes (×3) · Thông tin chung
Control Plane Nodes (×3)
| Thông số | cp01 | cp02 | cp03 |
|---|---|---|---|
| VMID | 260 | 261 | 262 |
| Hostname | k3s-cp01 | k3s-cp02 | k3s-cp03 |
| IP | 10.11.65.60/24 | 10.11.65.61/24 | 10.11.65.62/24 |
| vCPU | 4 | 4 | 4 |
| RAM | 8 GB | 8 GB | 8 GB |
| Disk | 30 GB (SSD vm-ceph) | 30 GB (SSD vm-ceph) | 30 GB (SSD vm-ceph) |
| Phân bổ node | node1 | node2 | node3 |
Worker Nodes (×3)
| Thông số | worker01 | worker02 | worker03 |
|---|---|---|---|
| VMID | 263 | 264 | 265 |
| Hostname | k3s-worker01 | k3s-worker02 | k3s-worker03 |
| IP | 10.11.65.63/24 | 10.11.65.64/24 | 10.11.65.65/24 |
| vCPU | 8 | 8 | 8 |
| RAM | 16 GB | 16 GB | 16 GB |
| Disk | 60 GB (SSD vm-ceph) | 60 GB (SSD vm-ceph) | 60 GB (SSD vm-ceph) |
| Phân bổ node | node1 | node2 | node3 |
create-lab-vms.sh thì mỗi control plane có scsi0 = 30 GB và mỗi worker có scsi0 = 60 GB trên SSD vm-ceph, không có đĩa scsi1 trên HDD (etcd và PV cần IOPS ngẫu nhiên); tổng danh nghĩa 6 node là 3 × 30 + 3 × 60 = 270 GB, các số này khớp vms.csv và chỉ là trần (thin provisioning), môi trường thật nên cấp lớn hơn (bài từng ghi 50 và 100 GB). PVC dùng StorageClass local-path (mặc định của K3s, thư mục trong /var/lib/rancher/k3s/storage ngay trên đĩa scsi0 của worker) nên chia sẻ chỗ với hệ điều hành và image; vì vậy bài giảm kích thước PVC của kube-prometheus-stack (mục 3.5), kubelet tự dọn image khi đĩa quá 85% (mặc định), còn dọn tay bằng sudo k3s crictl rmi --prune trên từng node (cần kiểm lại trên máy thật).
Thông tin chung
| Thông số | Giá trị |
|---|---|
| Gateway | 10.11.65.1 |
| VLAN | 65 (VLAN_SRV) |
| OS | Ubuntu Server 24.04 LTS |
| K3s API VIP | 10.11.65.55 (kube-vip) |
| Ingress VIP | 10.11.65.100 (Traefik via MetalLB) |
| MetalLB Pool | 10.11.65.100 – 10.11.65.150 |
Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15):
| Thành phần | Phiên bản dùng trong bài | Ghi chú |
|---|---|---|
| Hệ điều hành 6 node | Ubuntu Server 24.04.5 LTS "Noble Numbat" (ISO ubuntu-24.04.5-live-server-amd64.iso, ngày file 2026-09-09) | Kernel 6.8, systemd 255, netplan 1.0, cgroup v2 mặc định, ufw cài sẵn nhưng tắt; hỗ trợ chuẩn tới 04/2029. Nguồn: releases.ubuntu.com/24.04. |
| K3s | v1.36.5+k3s1 (kênh stable) | Bài trước không ghim (script cài lấy kênh stable tại thời điểm cài); nay ghim bằng INSTALL_K3S_VERSION để 6 node cùng bản. Support matrix K3s v1.36.5+k3s1 của SUSE (suse.com/suse-k3s/support-matrix) liệt kê Ubuntu 24.04. Kênh latest hiện là v1.37.1+k3s1. |
| kube-vip | v0.8.2 (giữ ghim) | Bản mới nhất trên GitHub là v1.2.4. Chưa kiểm v0.8.2 trên K3s v1.36 và Ubuntu 24.04 nên cần kiểm lại trên máy thật; lỗi thì thử bản mới hơn theo docs kube-vip. |
| MetalLB | v0.14.5 (giữ ghim) | Docs hiện hành dùng v0.16.1. Chưa kiểm v0.14.5 trên K3s v1.36, cần kiểm lại trên máy thật. |
| Traefik (Helm chart) | 41.6.1 (giữ ghim) | Chart mới nhất thấy trên GitHub là v41.7.1. |
| cert-manager | v1.21.2 (nâng từ v1.15.0) | v1.15 đã hết hỗ trợ từ 2025-02-03; v1.21 hỗ trợ Kubernetes 1.33 đến 1.36 (cert-manager.io/docs/releases). Chart dùng --set crds.enabled=true thay cho installCRDs=true. |
| kube-prometheus-stack (chart) | không ghim (bản mới nhất khi cài) | Tại 2026-10-15 chart mới nhất là 92.8.0; chưa kiểm trên K3s v1.36 nên cần kiểm lại trên máy thật. |
| Helm | Helm 3.x (script get-helm-3) | Helm 3 chỉ còn bản vá bảo mật tới 2026-11-11 (helm.sh/blog/helm-4-released); Helm 4 đã phát hành. Các lệnh helm repo/install/upgrade trong bài giữ nguyên cho cả hai, chuyển sang Helm 4 cần kiểm lại trên máy thật. |
| step CLI | 0.31.0 (gói .deb) | Giá trị dùng chung của lab, cùng bản bài 13 cài (bài 13 dùng step-ca 0.30.2). Cặp CLI 0.31.0 với step-ca 0.30.2 cần kiểm lại trên máy thật. |
| proxmox-backup-client | proxmox-backup-client-static 4.x, kho pbs-client suite trixie | Bản liên kết tĩnh nên không phụ thuộc glibc của Ubuntu 24.04; chạy trên noble cần kiểm lại trên máy thật. |
Hệ quả của Ubuntu 24.04 đối với bài này: (1) trình cài ghi mạng vào 50-cloud-init.yaml nên mục 1.4 tắt phần mạng của cloud-init và dùng một file netplan duy nhất; (2) NIC trên VM q35 thường là enp6s18 thay vì ens18, kiểm bằng ip -br link; (3) needrestart có thể hiện hộp thoại khi apt nên đặt NEEDRESTART_MODE=a; (4) ufw có sẵn nhưng tắt, K3s khuyến nghị để tắt; (5) cgroup v2 mặc định, K3s hỗ trợ sẵn; (6) AppArmor 4 giới hạn user namespace không đặc quyền, chỉ ảnh hưởng K3s rootless (bài này chạy K3s bằng root nên không dùng).
Tạo VM trên Proxmox
Tải Ubuntu ISO (nếu chưa có) · Tạo 6 VM · Cài đặt Ubuntu 24.04 (lặp cho cả 6 VM)
1.1 Tải Ubuntu ISO (nếu chưa có)
# Chạy trên Proxmox node node1 (lặp lại trên node2, node3 vì ISO nằm ở storage `local` của từng node)
cd /var/lib/vz/template/iso
wget -O ubuntu-24.04-server.iso \
https://releases.ubuntu.com/24.04/ubuntu-24.04.5-live-server-amd64.iso
# Kiểm tra checksum: so sánh với dòng live-server-amd64 trong SHA256SUMS
wget -qO- https://releases.ubuntu.com/24.04/SHA256SUMS | grep live-server-amd64
sha256sum ubuntu-24.04-server.iso
tpl-ubuntu-2404 (VMID 9000, cloud-init) thì không cần ISO ở mục này, không cần cài tay ở mục 1.3 và có thể bỏ phần hostname/netplan ở mục 1.4. Ví dụ cho cp01: qm clone 9000 260 --name k3s-cp01 --full 1 --storage vm-ceph --target node1, sau đó qm set 260 --cores 4 --memory 8192 --net0 virtio,bridge=vmbr0,tag=65 --ipconfig0 ip=10.11.65.60/24,gw=10.11.65.1 --nameserver 10.11.45.53 --searchdomain hoatranlabs.local và qm resize 260 scsi0 30G (worker: qm resize 263 scsi0 60G); làm tương tự cho 5 VM còn lại theo bảng "Thông tin VM". Các bước swap, module, sysctl, chrony ở mục 1.4 vẫn phải chạy. Tên đĩa và kích thước template theo bài 07, cần kiểm lại trên máy thật.
1.2 Tạo 6 VM
Nhóm 1: 3 Control Plane (VMID 260–262)
Cách 1: Web UI Proxmox (GUI) — Tạo 3 Control Plane
Làm lần lượt cho cp01 → cp02 → cp03, mỗi VM trên node tương ứng:
| VM | VMID | Name | Node |
|---|---|---|---|
| CP 01 | 260 | k3s-cp01 | node1 |
| CP 02 | 261 | k3s-cp02 | node2 |
| CP 03 | 262 | k3s-cp03 | node3 |
- VM ID:
260/261/262(theo bảng trên) - Name:
k3s-cp01/k3s-cp02/k3s-cp03 - Bỏ tick Start after created
- Storage:
local(hoặc nơi chứa ISO) - ISO Image:
ubuntu-24.04-server.iso - Guest OS Type:
Linux, Version:6.x - 2.6 Kernel
- Machine:
q35 - SCSI Controller:
VirtIO SCSI single - BIOS:
SeaBIOS - Qemu Agent: ☑
- Bus/Device:
SCSI 0, Storage:vm-ceph - Disk size:
30 GiB, Cache:Write back, Discard: ☑
- Sockets:
1, Cores:4, Type:x86-64-v2-AES
- Memory (MiB):
8192
- Bridge:
vmbr0, VLAN Tag:65, Model:VirtIO (paravirtualized), Firewall: ☐
Lặp lại cho cp02 (trên node2) và cp03 (trên node3).
Cách 2: CLI (qm create) — 3 Control Plane
# ======= Control Plane 01 — chạy trên node1 =======
qm create 260 --name k3s-cp01 --memory 8192 --cores 4 --sockets 1 \
--net0 virtio,bridge=vmbr0,tag=65 \
--scsi0 vm-ceph:30,cache=writeback \
--ide2 local:iso/ubuntu-24.04-server.iso,media=cdrom \
--boot "order=ide2;scsi0" \
--ostype l26 --machine q35 --bios seabios \
--agent 1 --serial0 socket --vga serial0
qm start 260
# ======= Control Plane 02 — chạy trên node2 =======
qm create 261 --name k3s-cp02 --memory 8192 --cores 4 --sockets 1 \
--net0 virtio,bridge=vmbr0,tag=65 \
--scsi0 vm-ceph:30,cache=writeback \
--ide2 local:iso/ubuntu-24.04-server.iso,media=cdrom \
--boot "order=ide2;scsi0" \
--ostype l26 --machine q35 --bios seabios \
--agent 1 --serial0 socket --vga serial0
qm start 261
# ======= Control Plane 03 — chạy trên node3 =======
qm create 262 --name k3s-cp03 --memory 8192 --cores 4 --sockets 1 \
--net0 virtio,bridge=vmbr0,tag=65 \
--scsi0 vm-ceph:30,cache=writeback \
--ide2 local:iso/ubuntu-24.04-server.iso,media=cdrom \
--boot "order=ide2;scsi0" \
--ostype l26 --machine q35 --bios seabios \
--agent 1 --serial0 socket --vga serial0
qm start 262
Nhóm 2: 3 Worker Nodes (VMID 263–265)
Cách 1: Web UI Proxmox (GUI) — Tạo 3 Worker Nodes
Làm lần lượt cho worker01 → worker02 → worker03, mỗi VM trên node tương ứng:
| VM | VMID | Name | Node |
|---|---|---|---|
| Worker 01 | 263 | k3s-worker01 | node1 |
| Worker 02 | 264 | k3s-worker02 | node2 |
| Worker 03 | 265 | k3s-worker03 | node3 |
- VM ID:
263/264/265(theo bảng trên) - Name:
k3s-worker01/k3s-worker02/k3s-worker03 - Bỏ tick Start after created
- Storage:
local(hoặc nơi chứa ISO) - ISO Image:
ubuntu-24.04-server.iso - Guest OS Type:
Linux, Version:6.x - 2.6 Kernel
- Machine:
q35 - SCSI Controller:
VirtIO SCSI single - BIOS:
SeaBIOS - Qemu Agent: ☑
- Bus/Device:
SCSI 0, Storage:vm-ceph - Disk size:
60 GiB, Cache:Write back, Discard: ☑
- Sockets:
1, Cores:8, Type:x86-64-v2-AES
- Memory (MiB):
16384
- Bridge:
vmbr0, VLAN Tag:65, Model:VirtIO (paravirtualized), Firewall: ☐
Lặp lại cho worker02 (trên node2) và worker03 (trên node3).
Cách 2: CLI (qm create) — 3 Worker Nodes
# ======= Worker 01 — chạy trên node1 =======
qm create 263 --name k3s-worker01 --memory 16384 --cores 8 --sockets 1 \
--net0 virtio,bridge=vmbr0,tag=65 \
--scsi0 vm-ceph:60,cache=writeback \
--ide2 local:iso/ubuntu-24.04-server.iso,media=cdrom \
--boot "order=ide2;scsi0" \
--ostype l26 --machine q35 --bios seabios \
--agent 1 --serial0 socket --vga serial0
qm start 263
# ======= Worker 02 — chạy trên node2 =======
qm create 264 --name k3s-worker02 --memory 16384 --cores 8 --sockets 1 \
--net0 virtio,bridge=vmbr0,tag=65 \
--scsi0 vm-ceph:60,cache=writeback \
--ide2 local:iso/ubuntu-24.04-server.iso,media=cdrom \
--boot "order=ide2;scsi0" \
--ostype l26 --machine q35 --bios seabios \
--agent 1 --serial0 socket --vga serial0
qm start 264
# ======= Worker 03 — chạy trên node3 =======
qm create 265 --name k3s-worker03 --memory 16384 --cores 8 --sockets 1 \
--net0 virtio,bridge=vmbr0,tag=65 \
--scsi0 vm-ceph:60,cache=writeback \
--ide2 local:iso/ubuntu-24.04-server.iso,media=cdrom \
--boot "order=ide2;scsi0" \
--ostype l26 --machine q35 --bios seabios \
--agent 1 --serial0 socket --vga serial0
qm start 265
1.3 Cài đặt Ubuntu 24.04 (lặp cho cả 6 VM)
Kết nối qua Proxmox console (qm terminal <VMID>) và làm theo:
- Your name:
sysadmin - Server's name:
k3s-cp01(đổi theo từng VM) - Username:
sysadmin - Password:
Hoatran@2024!
Trình cài 24.04 có thêm màn hình Ubuntu Pro (chọn Skip for now) và có thể có màn hình third-party drivers (bỏ qua); tên và thứ tự màn hình có thể khác nhẹ, cần kiểm lại trên máy thật. Bản cài mới tạo swap dạng file /swap.img và dòng tương ứng trong /etc/fstab; mục 1.4 tắt swap.
1.4 Cấu hình sau cài đặt (chạy trên từng node)
SSH vào từng VM (ssh sysadmin@<ip-dhcp> rồi sudo -i) và thực hiện. Thay HOSTNAME và NODE_IP tương ứng:
# Thay đổi các biến này cho mỗi node
HOSTNAME="k3s-cp01" # k3s-cp01|cp02|cp03|worker01|worker02|worker03
NODE_IP="10.11.65.60" # .60|.61|.62|.63|.64|.65
# Update hệ thống. Ubuntu 24.04 có needrestart: NEEDRESTART_MODE=a để tự khởi động lại dịch vụ, không hiện hộp thoại hỏi
export DEBIAN_FRONTEND=noninteractive NEEDRESTART_MODE=a
apt update && apt upgrade -y
apt install -y qemu-guest-agent curl wget git vim net-tools nfs-common chrony
systemctl enable --now qemu-guest-agent
# Đặt hostname
hostnamectl set-hostname $HOSTNAME
echo "127.0.1.1 $HOSTNAME $HOSTNAME.hoatranlabs.local" >> /etc/hosts
# Static IP (netplan). Ubuntu 24.04 ghi mạng của trình cài vào /etc/netplan/50-cloud-init.yaml (DHCP); để nguyên file đó thì DHCP
# cộng dồn với IP tĩnh, nên tắt phần mạng của cloud-init và xóa file cũ trước khi tạo file mới
ip -br link # xem tên NIC thật: ens18 hoặc enp6s18 (máy q35)
NIC=$(ip -br link | awk '$1!="lo"{print $1; exit}')
echo "NIC = $NIC"
echo 'network: {config: disabled}' > /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg
rm -f /etc/netplan/*.yaml
cat > /etc/netplan/50-k3s.yaml << EOF
network:
version: 2
ethernets:
${NIC}:
addresses: [$NODE_IP/24]
routes:
- to: default
via: 10.11.65.1
nameservers:
addresses: [10.11.45.53]
search: [hoatranlabs.local]
EOF
chmod 600 /etc/netplan/50-k3s.yaml
netplan apply
# Phiên SSH sẽ đứt vì IP đổi từ DHCP sang $NODE_IP: đăng nhập lại bằng IP mới (sudo -i) rồi chạy tiếp từ "Tắt swap"
# Tắt swap — bắt buộc cho Kubernetes (Ubuntu 24.04 tạo /swap.img, dòng fstab dạng "/swap.img none swap sw 0 0")
swapoff -a
sed -i '/\bswap\b/ s/^/#/' /etc/fstab
# rm -f /swap.img # tùy chọn: lấy lại dung lượng đĩa
# Bật kernel modules cần thiết
cat > /etc/modules-load.d/k8s.conf << 'EOF'
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilter
# Cấu hình sysctl
cat > /etc/sysctl.d/k8s.conf << 'EOF'
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
# Đồng bộ NTP (quan trọng cho etcd leader election)
systemctl enable --now chrony
chronyc tracking
# Firewall: Ubuntu 24.04 cài sẵn ufw nhưng mặc định tắt; K3s khuyến nghị để tắt (cần bật thì xem mục Troubleshooting)
ufw status # kỳ vọng: Status: inactive
# Verify
echo "=== Hostname ===" && hostname
echo "=== IP ===" && ip -br -4 addr
echo "=== Swap ===" && free -h | grep Swap
echo "=== Modules ===" && lsmod | grep -E "overlay|br_netfilter"
echo "=== cgroup ===" && stat -fc %T /sys/fs/cgroup # kỳ vọng: cgroup2fs (cgroup v2)
ens18 ở vip_interface (kube-vip, mục 2.1), --flannel-iface (mục 2.2 đến 2.4) và interfaces của L2Advertisement (mục 3.2). Nếu ip -br link cho tên khác (ví dụ enp6s18) thì thay ens18 bằng đúng tên đó ở cả ba chỗ.
Cài đặt K3s Cluster
Chuẩn bị kube-vip manifest (chạy trên k3s-cp01) · Cài đặt K3s Control Plane 01 (bootstrap node) · Cài đặt K3s Control Plane 02 và 03
2.1 Chuẩn bị kube-vip manifest (chạy trên k3s-cp01)
kube-vip cần được đặt vào thư mục manifests tự động deploy của K3s (/var/lib/rancher/k3s/server/manifests) trước khi K3s khởi động lần đầu. Theo hướng dẫn kube-vip cho K3s, manifest gồm RBAC và một DaemonSet chạy trên mọi control plane (không dùng một Pod đơn lẻ), nhờ vậy VIP tự chuyển sang control plane khác khi node đang giữ VIP bị tắt.
# SSH vào k3s-cp01 (10.11.65.60)
mkdir -p /var/lib/rancher/k3s/server/manifests
# Phiên bản kube-vip (ghim cố định để cài lại cho kết quả giống nhau)
KVVERSION="v0.8.2"
# RBAC cho kube-vip (ServiceAccount + ClusterRole + ClusterRoleBinding) — manifest chính thức của kube-vip
curl -fsSL https://kube-vip.io/manifests/rbac.yaml \
-o /var/lib/rancher/k3s/server/manifests/kube-vip-rbac.yaml
# DaemonSet kube-vip (ARP, control plane HA). Heredoc không đặt trong nháy để ${KVVERSION} được thay giá trị
cat > /var/lib/rancher/k3s/server/manifests/kube-vip.yaml << KVEOF
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: kube-vip-ds
namespace: kube-system
spec:
selector:
matchLabels:
app.kubernetes.io/name: kube-vip-ds
template:
metadata:
labels:
app.kubernetes.io/name: kube-vip-ds
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: node-role.kubernetes.io/master
operator: Exists
- matchExpressions:
- key: node-role.kubernetes.io/control-plane
operator: Exists
containers:
- name: kube-vip
image: ghcr.io/kube-vip/kube-vip:${KVVERSION}
imagePullPolicy: IfNotPresent
args:
- manager
env:
- name: vip_arp
value: "true"
- name: port
value: "6443"
- name: vip_nodename
valueFrom:
fieldRef:
fieldPath: spec.nodeName
- name: vip_interface
value: "ens18"
- name: vip_cidr
value: "32"
- name: cp_enable
value: "true"
- name: cp_namespace
value: kube-system
- name: svc_enable
value: "false"
- name: vip_leaderelection
value: "true"
- name: vip_leaseduration
value: "5"
- name: vip_renewdeadline
value: "3"
- name: vip_retryperiod
value: "1"
- name: address
value: "10.11.65.55"
securityContext:
capabilities:
add:
- NET_ADMIN
- NET_RAW
hostNetwork: true
serviceAccountName: kube-vip
tolerations:
- effect: NoSchedule
operator: Exists
- effect: NoExecute
operator: Exists
KVEOF
2.2 Cài đặt K3s Control Plane 01 (bootstrap node)
# Trên k3s-cp01 (10.11.65.60)
K3S_VERSION="v1.36.5+k3s1" # ghim cùng một bản cho cả 6 node (kênh stable ngày 2026-10-15); Ubuntu 24.04 dùng cgroup v2, K3s hỗ trợ sẵn
K3S_TOKEN="K3sCluster_Hoatran@2024" # Thay bằng token bảo mật, dùng chung cho cả cluster
# Không đặt --bind-address: API server phải lắng nghe 0.0.0.0 (mặc định) thì mới nhận kết nối tới VIP 10.11.65.55.
# --disable servicelb: tắt ServiceLB (klipper) mặc định của K3s để MetalLB cấp IP cho Service LoadBalancer
# (phải đặt giống nhau trên TẤT CẢ control plane); --disable traefik: dùng Traefik cài bằng Helm ở mục 3.3.
curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION="$K3S_VERSION" sh -s - server \
--cluster-init \
--token "$K3S_TOKEN" \
--tls-san 10.11.65.55 \
--tls-san k3s.hoatranlabs.local \
--advertise-address 10.11.65.60 \
--node-ip 10.11.65.60 \
--node-external-ip 10.11.65.60 \
--disable traefik \
--disable servicelb \
--flannel-iface ens18 \
--write-kubeconfig-mode 0644 \
--cluster-cidr 10.42.0.0/16 \
--service-cidr 10.43.0.0/16
# Chờ K3s sẵn sàng
systemctl status k3s
kubectl get nodes
# Lấy token để join các node còn lại
cat /var/lib/rancher/k3s/server/token
2.3 Cài đặt K3s Control Plane 02 và 03
Chạy lần lượt trên cp02 rồi cp03. Chờ mỗi node đạt Ready trước khi tiếp tục:
# Thay NODE_IP tương ứng: cp02=10.11.65.61, cp03=10.11.65.62
NODE_IP="10.11.65.61"
K3S_VERSION="v1.36.5+k3s1" # đúng bản đã dùng ở cp01
K3S_TOKEN="K3sCluster_Hoatran@2024"
curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION="$K3S_VERSION" sh -s - server \
--server https://10.11.65.55:6443 \
--token "$K3S_TOKEN" \
--tls-san 10.11.65.55 \
--tls-san k3s.hoatranlabs.local \
--advertise-address $NODE_IP \
--node-ip $NODE_IP \
--node-external-ip $NODE_IP \
--disable traefik \
--disable servicelb \
--flannel-iface ens18
# Verify từ cp01
kubectl get nodes
2.4 Cài đặt Worker Nodes
# Chạy trên mỗi worker node. Thay NODE_IP: .63/.64/.65
NODE_IP="10.11.65.63"
K3S_VERSION="v1.36.5+k3s1" # đúng bản đã dùng ở các control plane
K3S_TOKEN="K3sCluster_Hoatran@2024"
curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION="$K3S_VERSION" sh -s - agent \
--server https://10.11.65.55:6443 \
--token "$K3S_TOKEN" \
--node-ip $NODE_IP \
--node-external-ip $NODE_IP \
--flannel-iface ens18
# Label worker nodes (chạy từ cp01 sau khi tất cả worker đã join)
kubectl label node k3s-worker01 node-role.kubernetes.io/worker=worker
kubectl label node k3s-worker02 node-role.kubernetes.io/worker=worker
kubectl label node k3s-worker03 node-role.kubernetes.io/worker=worker
2.5 Cấu hình kubeconfig trên máy admin
# Copy kubeconfig từ cp01
mkdir -p ~/.kube
scp [email protected]:/etc/rancher/k3s/k3s.yaml ~/.kube/config
# Thay server address sang VIP
sed -i 's/127.0.0.1/10.11.65.55/g' ~/.kube/config
chmod 600 ~/.kube/config
# Kiểm tra
kubectl get nodes -o wide
Cài đặt Add-ons
Helm · MetalLB · Traefik v3 Ingress Controller
3.1 Helm
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
helm version
3.2 MetalLB
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.14.5/config/manifests/metallb-native.yaml
# Chờ MetalLB pods sẵn sàng
kubectl wait -n metallb-system \
--for=condition=ready pod \
--selector=app=metallb \
--timeout=120s
# Tạo IP Pool và L2 Advertisement
cat <<'EOF' | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: hoatran-pool
namespace: metallb-system
spec:
addresses:
- 10.11.65.100-10.11.65.150
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: hoatran-l2
namespace: metallb-system
spec:
ipAddressPools:
- hoatran-pool
interfaces:
- ens18
EOF
3.3 Traefik v3 Ingress Controller
Cài sau MetalLB (mục 3.2) để Service traefik nhận ngay IP 10.11.65.100.
helm repo add traefik https://traefik.github.io/charts
helm repo update
cat > /tmp/traefik-values.yaml << 'EOF'
deployment:
replicas: 3
service:
type: LoadBalancer
annotations:
metallb.universe.tf/loadBalancerIPs: "10.11.65.100"
ingressRoute:
dashboard:
enabled: true
entryPoints: ["websecure"]
ports:
web:
http:
redirections: # chuyển hướng HTTP (80) -> HTTPS (443); cú pháp của chart Traefik 39+ (thay cho redirectTo cũ)
entryPoint:
to: websecure
scheme: https
permanent: true
websecure:
http:
tls:
enabled: true
additionalArguments:
- "--api.insecure=false"
- "--log.level=INFO"
EOF
helm install traefik traefik/traefik \
--namespace kube-system \
--version 41.6.1 \
-f /tmp/traefik-values.yaml
kubectl -n kube-system get svc traefik
3.4 cert-manager với step-CA ACME Issuer
helm repo add jetstack https://charts.jetstack.io
helm repo update
# v1.21.2: v1.15 đã hết hỗ trợ (cert-manager.io/docs/releases); cờ cài CRD theo docs hiện hành là crds.enabled
helm install cert-manager jetstack/cert-manager \
--namespace cert-manager \
--create-namespace \
--version v1.21.2 \
--set crds.enabled=true
kubectl -n cert-manager wait --for=condition=ready pod -l app.kubernetes.io/instance=cert-manager --timeout=120s
# Lấy root CA cert từ step-CA VM242 (step-ca.hoatranlabs.local)
# Chạy lệnh sau trên bất kỳ máy nào đã trust step-CA:
step ca root --ca-url https://step-ca.hoatranlabs.local:9000 > /tmp/hoatranlabs-root.crt
# Pod cert-manager không dùng trust store của node OS và ClusterIssuer ACME không đọc CA từ Secret:
# root CA của step-CA phải đặt trực tiếp vào trường caBundle (base64 của file PEM)
CA_BUNDLE=$(base64 -w0 < /tmp/hoatranlabs-root.crt)
# Tạo ClusterIssuer dùng ACME endpoint của step-CA (heredoc không đặt trong nháy để ${CA_BUNDLE} được thay giá trị)
cat <<EOF | kubectl apply -f -
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
name: step-ca-issuer
spec:
acme:
server: https://step-ca.hoatranlabs.local:9000/acme/acme/directory
email: [email protected]
caBundle: ${CA_BUNDLE}
privateKeySecretRef:
name: step-ca-issuer-account-key
solvers:
- http01:
ingress:
ingressClassName: traefik
EOF
kubectl get clusterissuer step-ca-issuer
3.5 kube-prometheus-stack
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
cat > /tmp/prometheus-values.yaml << 'EOF'
# K3s chạy kube-controller-manager, kube-scheduler, kube-proxy và etcd nhúng trong tiến trình k3s, metrics gắn vào
# localhost (K3s đặt bind-address=127.0.0.1 cho controller-manager/scheduler) nên ServiceMonitor mặc định của chart
# không scrape được và báo Down. Tắt bốn mục này; chart cũng tự bỏ các alert/rule tương ứng
# (KubeControllerManagerDown, KubeSchedulerDown, KubeProxyDown, nhóm etcd).
kubeControllerManager:
enabled: false
kubeScheduler:
enabled: false
kubeProxy:
enabled: false
kubeEtcd:
enabled: false
grafana:
enabled: true
adminPassword: "Hoatran@2024!"
ingress:
enabled: true
ingressClassName: traefik
annotations:
cert-manager.io/cluster-issuer: step-ca-issuer
hosts:
- grafana-k8s.hoatranlabs.local
tls:
- secretName: grafana-k8s-tls
hosts:
- grafana-k8s.hoatranlabs.local
prometheus:
prometheusSpec:
retention: 15d
retentionSize: 8GB # tự xoá block cũ khi TSDB vượt 8 GB (PVC bên dưới 10Gi)
storageSpec:
volumeClaimTemplate:
spec:
storageClassName: local-path
resources:
requests:
storage: 10Gi
alertmanager:
alertmanagerSpec:
storage:
volumeClaimTemplate:
spec:
storageClassName: local-path
resources:
requests:
storage: 2Gi
EOF
helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack \
--namespace monitoring \
--create-namespace \
-f /tmp/prometheus-values.yaml
Tích hợp với hạ tầng
Pi-hole DNS · step-CA PKI — Trust trên tất cả K3s nodes · Authentik OIDC cho kubectl RBAC
4.1 Pi-hole DNS
# Thêm DNS records vào Pi-hole
# Admin panel: http://10.11.45.53/admin → Settings → Local DNS Records
k3s.hoatranlabs.local → 10.11.65.55
traefik.hoatranlabs.local → 10.11.65.100
grafana-k8s.hoatranlabs.local → 10.11.65.100
4.2 step-CA PKI — Trust trên tất cả K3s nodes
# Chạy trên TỪNG K3s node (tất cả 6 nodes). step CLI 0.31.0 là giá trị dùng chung của lab, cài bằng gói .deb như bài 13 (binary /usr/bin/step)
STEP_VERSION="0.31.0"
cd /tmp
wget "https://github.com/smallstep/cli/releases/download/v${STEP_VERSION}/step-cli_${STEP_VERSION}-1_amd64.deb"
apt install -y "./step-cli_${STEP_VERSION}-1_amd64.deb"
step version
# Tải root CA về đường dẫn chuẩn của lab (bài 29 dùng đúng file này trong registries.yaml)
step ca root /usr/local/share/ca-certificates/hoatranlabs-root.crt \
--ca-url https://step-ca.hoatranlabs.local:9000 \
--fingerprint [FINGERPRINT_TU_VM242]
# Bootstrap trust với step-CA
step ca bootstrap \
--ca-url https://step-ca.hoatranlabs.local:9000 \
--fingerprint $(step certificate fingerprint /usr/local/share/ca-certificates/hoatranlabs-root.crt) \
--install
update-ca-certificates
4.3 Authentik OIDC cho kubectl RBAC
# BƯỚC 1: Trên Authentik Web UI (https://authentik.hoatranlabs.local:9443)
# Applications → Providers → Create → OAuth2/OpenID Provider:
# Name: k3s-kubectl
# Client ID: k3s-kubectl
# Client Secret: [ghi lại secret]
# Redirect URIs: http://localhost:8000
# Scopes: openid, profile, email, groups
# Applications → Create Application → chọn provider trên
# Tạo Group: k3s-admins → thêm users vào group này
# BƯỚC 2: Thêm OIDC config vào K3s — chạy trên TẤT CẢ control plane nodes
# oidc-ca-file: CA đã ký cert HTTPS của Authentik (root CA step-CA, đã phát lên node ở mục 4.2). Mặc định kube-apiserver
# dùng root CA của host nên không bắt buộc, nhưng khai báo tường minh để không phụ thuộc trust store của OS.
# File phải tồn tại trên node trước khi restart k3s (nếu thiếu, kube-apiserver không khởi động được)
cat >> /etc/rancher/k3s/config.yaml << 'EOF'
kube-apiserver-arg:
- "oidc-issuer-url=https://authentik.hoatranlabs.local:9443/application/o/k3s-kubectl/"
- "oidc-ca-file=/usr/local/share/ca-certificates/hoatranlabs-root.crt"
- "oidc-client-id=k3s-kubectl"
- "oidc-username-claim=email"
- "oidc-groups-claim=groups"
- "oidc-username-prefix=authentik:"
- "oidc-groups-prefix=authentik:"
EOF
systemctl restart k3s
# BƯỚC 3: ClusterRoleBinding cho Authentik group
cat <<'EOF' | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: authentik-k3s-admins
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- apiGroup: rbac.authorization.k8s.io
kind: Group
name: "authentik:k3s-admins"
EOF
# BƯỚC 4: Cài kubelogin trên máy admin
kubectl krew install oidc-login
# Hoặc: https://github.com/int128/kubelogin/releases
# BƯỚC 5: Thêm OIDC credential vào kubeconfig
kubectl config set-credentials oidc-user \
--exec-api-version=client.authentication.k8s.io/v1beta1 \
--exec-command=kubectl \
--exec-arg=oidc-login \
--exec-arg=get-token \
--exec-arg="--oidc-issuer-url=https://authentik.hoatranlabs.local:9443/application/o/k3s-kubectl/" \
--exec-arg="--oidc-client-id=k3s-kubectl" \
--exec-arg="--oidc-client-secret=[CHANGE_ME]"
4.4 Prometheus Monitoring — Remote Write về VM235
# Kube-prometheus-stack đã được cài ở bước 3.5
# Prometheus VM235 đã bật --web.enable-remote-write-receiver (bài 15) nên nhận được /api/v1/write
# Để remote_write về Prometheus VM235, dùng thêm một file values bổ sung. Helm gộp (deep-merge) file này với
# prometheus-values.yaml ở mục 3.5 nên khối prometheus.prometheusSpec (retention, storageSpec) được giữ nguyên
cat > /tmp/prometheus-remotewrite.yaml << 'EOF'
prometheus:
prometheusSpec:
remoteWrite:
- url: http://10.11.45.35:9090/api/v1/write
EOF
# Cập nhật Helm release
helm upgrade kube-prometheus-stack prometheus-community/kube-prometheus-stack \
--namespace monitoring \
-f /tmp/prometheus-values.yaml \
-f /tmp/prometheus-remotewrite.yaml
4.5 PBS Backup — etcd snapshot và config
# Cài proxmox-backup-client trên TẤT CẢ K3s nodes
# Kho client-only công khai là download.proxmox.com, suite trixie (cùng dòng 4.x với PBS của bài 04), khai báo kiểu deb822 với Signed-By;
# khóa đặt trong /usr/share/keyrings (không dùng apt-key). Gói proxmox-backup-client-static là bản liên kết tĩnh (chỉ phụ thuộc qrencode)
# nên không phụ thuộc glibc/thư viện của Ubuntu 24.04; lệnh sử dụng vẫn là proxmox-backup-client. Chạy trên noble: cần kiểm lại trên máy thật.
wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg \
-O /usr/share/keyrings/proxmox-archive-keyring.gpg
cat > /etc/apt/sources.list.d/pbs-client.sources << 'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pbs-client
Suites: trixie
Components: main
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt update && apt install -y proxmox-backup-client-static
proxmox-backup-client version
# Backup file-level từ trong VM theo quy ước chung của lab (bài 04, mục 5.7):
# auth-id = vm-backup@pbs!<hostname>, namespace = vm-<hostname>, secret của token đặt trong PBS_PASSWORD.
# Script dưới đây là bản của k3s-cp01 (token vm-backup@pbs!k3s-cp01, namespace vm-k3s-cp01).
# LẶP LẠI trên từng node còn lại (k3s-cp02, k3s-cp03, k3s-worker01..03): đổi k3s-cp01 thành hostname của node đó
# ở cả auth-id lẫn --ns; mỗi node có token + namespace riêng. Worker không có etcd: bỏ lệnh "k3s etcd-snapshot save"
# và mục "k3s-etcd.pxar".
# Script backup etcd snapshot (bản cho cp01)
cat > /usr/local/bin/k3s-backup.sh << 'EOF'
#!/bin/bash
set -e
DATE=$(date +%Y%m%d_%H%M%S)
SNAP_DIR="/var/lib/rancher/k3s/server/db/snapshots"
# Tạo etcd snapshot
k3s etcd-snapshot save --name "k3s-etcd-$DATE"
# Upload lên PBS
export PBS_PASSWORD="<TOKEN_SECRET>" # secret của token vm-backup@pbs!k3s-cp01
proxmox-backup-client backup \
"etc-rancher.pxar:/etc/rancher/k3s" \
"k3s-etcd.pxar:$SNAP_DIR" \
--repository "vm-backup@[email protected]:syno-primary" \
--ns vm-k3s-cp01 \
--change-detection-mode data
EOF
chmod +x /usr/local/bin/k3s-backup.sh
# Cron job hàng ngày 2:30 AM
echo "30 2 * * * root /usr/local/bin/k3s-backup.sh >> /var/log/k3s-backup.log 2>&1" \
> /etc/cron.d/k3s-backup
Kiểm tra & Xác minh
# 1. Tất cả nodes đều Ready
kubectl get nodes -o wide
# Expected: 6 nodes — 3 control-plane + 3 worker, tất cả STATUS=Ready
# 2. Tất cả system pods Running
kubectl get pods -A --field-selector=status.phase!=Running,status.phase!=Succeeded
# Expected: output rỗng (không có pod nào failed)
# 3. kube-vip VIP hoạt động
ping -c3 10.11.65.55
kubectl --server=https://10.11.65.55:6443 get nodes
# 4. MetalLB đã gán IP cho Traefik
kubectl -n kube-system get svc traefik
# Expected: EXTERNAL-IP = 10.11.65.100
# 5. cert-manager ClusterIssuer sẵn sàng
kubectl get clusterissuer step-ca-issuer
# Expected: READY=True
# 6. Test cấp certificate thật
cat <<'EOF' | kubectl apply -f -
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
name: test-cert
namespace: default
spec:
secretName: test-cert-tls
issuerRef:
name: step-ca-issuer
kind: ClusterIssuer
dnsNames:
- test.hoatranlabs.local
EOF
kubectl wait --for=condition=ready certificate test-cert --timeout=90s
kubectl describe certificate test-cert | grep -E "Status|Message|Reason"
kubectl delete certificate test-cert # Dọn dẹp
# 7. Monitoring pods
kubectl -n monitoring get pods
kubectl -n monitoring get svc | grep grafana
# Truy cập https://grafana-k8s.hoatranlabs.local
# 8. HA Test — tắt cp01, cluster vẫn phải hoạt động
# Từ Proxmox: qm stop 260
# kubectl get nodes — k3s-cp01 sẽ NotReady, nhưng API vẫn phản hồi qua VIP
# Sau test: qm start 260
Troubleshooting
| Vấn đề | Nguyên nhân | Giải pháp |
|---|---|---|
| kube-vip không broadcast VIP 10.11.65.55 | Interface name không phải ens18 (VM q35 trên Ubuntu 24.04 thường là enp6s18) | Kiểm tra ip -br link trên node, sửa vip_interface trong manifest (và --flannel-iface, interfaces của L2Advertisement) |
| etcd fail to elect leader | NTP lệch giữa các nodes > 5 giây | chronyc tracking trên mỗi node; chronyc makestep để force sync |
| Node NotReady sau khi join | Flannel VXLAN UDP 8472 bị chặn (ufw của Ubuntu 24.04 đã bật, hoặc firewall Proxmox) | ufw status; K3s khuyến nghị ufw disable. Nếu bắt buộc bật: ufw allow 6443/tcp, ufw allow from 10.42.0.0/16 to any, ufw allow from 10.43.0.0/16 to any (theo docs K3s), thêm ufw allow from 10.11.65.0/24 cho lưu lượng giữa các node (8472/udp, 10250/tcp, 2379-2380/tcp); cần kiểm lại trên máy thật. Kiểm tra thêm firewall Proxmox |
| cert-manager không cấp được cert | step-CA ACME URL không accessible | curl https://step-ca.hoatranlabs.local:9000/acme/acme/directory từ cluster node |
| MetalLB không gán IP | Pool đã hết hoặc L2Advertisement thiếu | kubectl describe ipaddresspool -n metallb-system |
| Worker không join cluster | Token sai hoặc firewall port 6443 | cat /var/lib/rancher/k3s/server/token trên cp01; kiểm tra port 6443 |
| Pod stuck Pending | Không đủ resource hoặc node selector | kubectl describe pod <name> xem Events |
Traefik không nhận external IP (Service traefik ở kube-system kẹt <pending>) | MetalLB chưa sẵn sàng khi Traefik cài, hoặc IPAddressPool/annotation sai | kubectl -n metallb-system get pods (controller + speaker phải Running) và kubectl -n kube-system describe svc traefik xem Events. MetalLB tự cấp IP cho Service đang chờ ngay khi sẵn sàng, restart Traefik (kubectl -n kube-system rollout restart deployment traefik) không giúp được gì; nếu pool/annotation đã đúng mà vẫn <pending> thì kubectl -n metallb-system rollout restart deployment controller |
Checklist triển khai
- 6 VM tạo thành công trên 3 Proxmox nodes, qemu-agent chạy
- Ubuntu 24.04 cài đặt và update xong trên tất cả 6 nodes
- Static IP và hostname đặt đúng (kiểm tra
hostname && ip a | grep 10.11.65) - Swap disabled (
free -hhiện 0B swap trên mọi node) - kernel modules overlay và br_netfilter loaded và persistent
- NTP đồng bộ trên tất cả nodes (
chronyc tracking) - kube-vip manifest tạo trước khi K3s bootstrap
- K3s cluster khởi động: 6 nodes ở trạng thái Ready, cùng phiên bản v1.36.5+k3s1 (
kubectl get nodes -o wide) - kube-vip VIP 10.11.65.55 phản hồi ping và API Kubernetes
- MetalLB pool 10.11.65.100-150 cấu hình và hoạt động
- Traefik ingress controller chạy, nhận External-IP 10.11.65.100
- cert-manager cài xong, ClusterIssuer step-ca-issuer READY=True
- Test certificate cấp thành công từ step-CA
- kube-prometheus-stack pods Running, Grafana accessible
- DNS records thêm vào Pi-hole (k3s, traefik, grafana-k8s)
- step-CA root cert trusted trên tất cả K3s nodes
- Authentik OIDC login hoạt động với kubectl
- HA test: tắt 1 CP node, cluster vẫn functional
- PBS backup script chạy thành công lần đầu