Cập nhật cuốn chiếu HA + Ceph Upgrade
Rolling update cluster có HA bằng maintenance mode, nâng cấp Ceph không downtime, checklist trước/sau.
Bối cảnh & Lý do triển khai
Proxmox VE là bản phân phối rolling release đặt trên Debian: kernel, QEMU, OpenSSL, Corosync và Ceph liên tục có bản vá bảo mật. Không vá thì tồn đọng lỗ hổng; vá bừa tay (chạy apt upgrade đồng loạt trên mọi node rồi reboot cả cụm) thì mất quorum, HA fence hàng loạt và Ceph rebalance không cần thiết. Bài này dựng quy trình cuốn chiếu (rolling update): mỗi lần đúng một node — bật maintenance mode của HA, di dời guest, cập nhật, reboot, kiểm tra, trả guest về, chờ Ceph ổn định rồi mới sang node kế tiếp — chạy lần lượt qua các vòng staging → production.
Bài cũng gom các việc đi kèm: nâng cấp Ceph (Squid → Tentacle, cập nhật bản vá và di chuyển khóa cephx), tóm tắt nâng cấp lớn PVE 8 → 9, kernel pinning để quay lui, snapshot/PBS trước khi cập nhật, script kiểm tra và playbook Ansible (miễn phí) chạy cho nhiều node.
pve-no-subscription được tài liệu Proxmox mô tả là dùng cho thử nghiệm và non-production; gói đi qua pve-test → pve-no-subscription → enterprise, giữa các bước có khoảng trễ (không công bố cố định). Bạn vẫn nhận đúng các gói đó, chỉ sớm hơn và ít vòng kiểm thử hơn. Bài này bù bằng staging, backup PBS và kế hoạch rollback. Popup "No valid subscription" chỉ là thông báo, không làm mất chức năng.
| Mục | Nội dung |
|---|---|
| Ứng dụng trong DN | Vá lỗi bảo mật (kernel, QEMU, Ceph, Debian) cho 1 đến hàng trăm node theo vòng staging → production; chuẩn bị nâng cấp phiên bản lớn (PVE 8 → 9, Ceph Squid → Tentacle) |
| Tác dụng chính | Rolling update từng node với HA maintenance mode, cờ Ceph noout/norebalance, kiểm tra quorum và Ceph trước/sau; script pve-rolling.sh và playbook Ansible; kernel pin; quy trình rollback; lịch và thông báo |
| Nếu không triển khai | Tồn đọng CVE; vá đồng loạt gây mất quorum/fence hàng loạt; lỗi từ gói mới (repo ít kiểm thử) lọt thẳng vào production vì chưa qua staging; không có đường lui khi kernel mới không boot |
| Các service phụ thuộc vào đây | Toàn bộ VM và dịch vụ chạy trên cluster HOATRANHUB (bài 12–40); bài 10 (thông báo package-updates), bài 11 (runbook sự cố dùng lại kỹ thuật drain/cờ Ceph), bài 05 (rule firewall cho SSH của Ansible) |
Ngày cập nhật: 2026-10-15
Môi trường: HOATRANLABS – PVE 9.2.20, Ceph Tentacle 20.2.4
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
| ops01 (Ansible/OpenTofu + bastion) · VM290 | 10.11.45.20 | 45 (MGMT) · node2 | Máy điều khiển của bài — chạy Ansible và pve-rolling.sh theo từng vòng; là VM trên node2 nên bị live-migrate khi node2 được drain (tạo ở bài 07). |
| node4 (Proxmox VE) | 10.11.45.213 | 45 (MGMT) · cluster HOATRANHUB | Production HOATRANHUB, cập nhật đầu tiên; chứa pbs01 và pdm01 nên tránh drain trùng giờ backup 22:00 và sync DR. |
| node3 (Proxmox VE) | 10.11.45.212 | 45 (MGMT) · cluster HOATRANHUB | Production HOATRANHUB, cập nhật thứ hai; là node đích mặc định khi drain node4 (Ansible chọn node kế tiếp trong danh sách). |
| node2 (Proxmox VE) | 10.11.45.211 | 45 (MGMT) · cluster HOATRANHUB | Production HOATRANHUB, cập nhật thứ ba; trong ví dụ là CRM master của HA và chứa VM ops01 chạy playbook. |
| node1 (Proxmox VE) | 10.11.45.210 | 45 (MGMT) · cluster HOATRANHUB | Production HOATRANHUB, cập nhật cuối vì giữ MON leader và NUT master (bài 10); sau node này mới gỡ cờ Ceph noout/norebalance. |
| node5 (Proxmox VE standalone) | 10.100.100.20 | Site phụ 10.100.100.0/24 · standalone | Vòng 1: PVE standalone site phụ, cập nhật 3 ngày sau canary; không có HA nên guest ngừng trong lúc reboot. |
| node6 (Proxmox VE standalone) | 10.100.100.21 | Site phụ 10.100.100.0/24 · standalone | Vòng 0: node canary standalone, thử gói PVE, kernel và tên NIC trước production; không thử được Ceph/HA nhiều node. |
| pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | Đích backup trước cập nhật (storage pbs-primary); VM101 live-migrate khi node4 drain; nâng cấp sau pbsdr01 (bài 04). |
| pdm01 (Proxmox Datacenter Manager) · VM102 | 10.11.45.18 | 45 (MGMT) · node4 | PDM xem tổng quan gói cập nhật của các remote (Remotes → Updates); VM102 trên node4; nâng cấp trước PVE (bài 04). |
| pbsdr01 (PBS DR) | 10.100.100.6 | Site phụ 10.100.100.0/24 · site phụ | PBS DR: nâng cấp đầu tiên trong thứ tự PBS-DR → PBS Primary → PDM → PVE (bài 04, mục 11.4). |
| syno-primary (Synology NAS) | 10.11.45.16 | 45 (MGMT) · NAS | NAS chứa datastore syno-primary: nơi có bản backup phải còn mới (≤ 36 giờ) và đã verify trước mỗi vòng cập nhật (bài 04). |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Máy QDevice (nếu thêm cho cluster 4 node) phải nằm ngoài cluster và chưa thuộc quy hoạch lab; VM staging nested (cluster STAGING) có tên/IP riêng ghi vào NetBox (bài 23) nên không liệt kê ở đây.
Tổng quan
Cơ chế HA maintenance mode (đã xác minh trên pve-docs) · Cách Ceph phản ứng khi một node reboot · Công cụ & chi phí
Nguyên tắc của cả bài gói trong bốn câu: (1) trong một cluster chỉ đụng một node mỗi lần; (2) node nào cũng phải "rỗng" (guest đã chuyển đi) trước khi reboot; (3) Ceph phải sạch trước khi sang node kế; (4) thử trên staging trước, production sau, và luôn có đường lui (backup PBS, kernel cũ, cách dựng lại node).
Vòng lặp cho mỗi node:
preflight ──► (một lần) đặt cờ Ceph noout + norebalance
│
▼
HA maintenance ON ──► chờ HA chuyển guest ──► chuyển nốt guest không-HA
│
▼
apt update ──► apt full-upgrade ──► reboot (nếu kernel/QEMU/lib đổi)
│
▼
postcheck (quorum đủ phiếu, dịch vụ PVE, OSD up) ──► HA maintenance OFF ──► guest trở về
│
▼
chờ Ceph active+clean (chỉ còn cờ do ta đặt) ──► node kế tiếp ──► … ──► gỡ cờ Ceph
Vòng cập nhật theo môi trường (lab HOATRANLABS):
repo Proxmox/Debian
│
▼
Vòng 0 staging: cluster PVE ảo 3 node (nested) + node6 (canary) ── thứ Hai, soak ≥ 5 ngày làm việc
▼
Vòng 1 node5 (standalone, site phụ) ── +3 ngày
▼
Vòng 2 production HOATRANHUB: node4 → node3 → node2 → node1 ── thứ Ba 19:00–21:30 tuần sau
| Thông số | Giá trị |
|---|---|
| Phiên bản PVE | 9.2.20 (Debian 13) |
| Ceph | Tentacle 20.2.4-pve4 |
| Repo | pve-no-subscription |
| Quy mô áp dụng | 1 → hàng trăm node |
| Công cụ chính | ha-manager, Ansible |
| Thời gian mỗi node | ~20–40 phút |
| Cửa sổ bảo trì | Thứ Ba 19:00–21:30 |
| Điều kiện tiên quyết | Bài 03, bài 04 |
Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15):
| Thành phần | Phiên bản | Ghi chú |
|---|---|---|
| Proxmox VE | 9.2.20 (nhánh 9.2, phát hành 2026-05-21) | Debian 13 "trixie"; kernel 7.0 là mặc định từ PVE 9.2 (roadmap). Kernel đang chạy trên từng node: uname -r |
| Ceph | Tentacle 20.2.4-pve4 (upstream 20.2.4, 2026-08-19) | PVE 9.2 đặt Tentacle là mặc định cho cài mới. Squid 19.2 đã/sắp hết hạn hỗ trợ: pve-docs ghi EOL 2026-09 (đã qua), staff forum ước tính upstream EOL 2026-10-31 — nâng sớm (mục 8) |
| Proxmox Backup Server | 4.2 | Bài 04; thứ tự cập nhật ở mục 12 |
| Proxmox Datacenter Manager | 1.1 (docs 1.1.7, 2026-07-15) | Bài 04; từ PDM 1.0 có panel tổng quan gói cập nhật của mọi remote (cần kiểm lại trên máy thật) |
| Ansible | gói ansible 9.2.0 của Ubuntu 24.04 (ansible-core ≥ 2.16.3) | Cài trên ops01 (bài 07) hoặc máy quản trị bất kỳ |
| jq, tmux | gói Debian/Ubuntu | jq cần cho pve-rolling.sh; tmux giữ phiên khi mất SSH |
| Công cụ PVE | ha-manager, pvecm, pvenode, pvesh, pveceph, proxmox-boot-tool | Có sẵn trên PVE 9 |
1.1 Cơ chế HA maintenance mode (đã xác minh trên pve-docs)
- Lệnh:
ha-manager crm-command node-maintenance enable <node>và... disable <node>. Lệnh chỉ xếp hàng yêu cầu cho CRM nên chạy từ node nào cũng được. - Node chuyển LRM sang trạng thái "không sẵn sàng cho HA" nhưng vẫn xử lý lệnh migrate; watchdog vẫn bật cho tới khi mọi dịch vụ đã chuyển đi. Node đích chọn theo HA rules và chế độ CRS (Datacenter → Options → Cluster Resource Scheduling).
- Node gốc được ghi vào trạng thái của HA manager: khi
disable, các dịch vụ đã ở trên node lúc bật maintenance được chuyển về. - Chỉ áp dụng cho guest nằm trong HA. Guest không-HA phải tự di chuyển (mục 5.3). Docs hiện chỉ mô tả CLI; một số bản có thể có nút trong Datacenter → HA — cần kiểm lại trên máy thật.
- Maintenance mode không tự xóa khi reboot: sau khi node lên lại phải
disablethủ công. - Chính sách tắt máy (Datacenter → Options → HA Settings,
datacenter.cfg:ha: shutdown_policy=<giá trị>): conditional (mặc định) — shutdown thì dừng guest để node khác nhận lại, reboot thì "đóng băng" guest rồi khởi động lại trên cùng node sau reboot (có downtime bằng thời gian reboot); migrate — LRM tự chuyển guest đi trước khi tắt/reboot; failover, freeze theo docs. Vì vậy quy trình dùng maintenance mode thay vì reboot thẳng.
shutdown_policy=migrate giúp mọi lần reboot "vô tình" của quản trị viên cũng chuyển guest đi trước (docs: migrate có thể phù hợp hơn mặc định). Lưu ý: rule node-affinity strict có thể làm việc tắt máy chờ mãi vì không có node hợp lệ để chuyển tới.
ha-manager crm-command disarm-ha freeze|ignore / arm-ha dành cho bảo trì mạng cluster (đổi switch, VLAN, corosync) mà không bị fence. Known issue ở roadmap 9.2: nếu cluster đang disarm trong lúc còn migration, việc nâng cấp pve-ha-manager (từ bản trước 5.2.4) có thể treo ở package trigger — giữ HA ở trạng thái armed khi apt full-upgrade, hoặc arm-ha để quá trình chạy tiếp.
1.2 Cách Ceph phản ứng khi một node reboot
- OSD của node tắt → PG sang trạng thái degraded; với
size 3 / min_size 2(poolvm-ceph, bài 03) I/O vẫn tiếp tục khi mất 1 node. - Sau
mon_osd_down_out_interval(mặc định 600 giây) Ceph đánh dấu OSD out và bắt đầu tái cân bằng dữ liệu. Một lần reboot server (POST của BIOS + apt) rất dễ vượt 10 phút, nên đặtnooutđể OSD down nhưng không bị out. -
norebalancetạm dừng việc di chuyển PG chỉ để cân bằng lại. Hai cờ này hiển thị làHEALTH_WARN(checkOSDMAP_FLAGS) — bình thường trong cửa sổ bảo trì, phải gỡ khi xong. - Trong lúc có
noout, nếu một ổ đĩa hỏng thật thì Ceph không tự sao chép lại. Giữ cửa sổ ngắn và gỡ cờ ngay khi xong.
pvecm có 4 phiếu, quorum 3 → khi một node bảo trì, cluster còn đúng 3 phiếu; thêm một node nữa lỗi là mất quorum (HA fence, /etc/pve chỉ đọc). Ceph tương tự: bài 03 tạo 4 MON (quorum 3/4). Hai cách giảm rủi ro: thêm QDevice (pve-docs hỗ trợ QDevice cho cluster có số node chẵn — khuyến nghị cho 2 node — và ghi rõ với số node chẵn "không có tác động tiêu cực"; đặt ngoài cluster, mục 2) và/hoặc giữ 3 MON như khuyến nghị cuối mục 5.5 bài 03.
1.3 Công cụ & chi phí
| Việc | Công cụ miễn phí dùng trong bài | Khi nào phải trả phí |
|---|---|---|
| Cập nhật, HA, Ceph | apt, ha-manager, ceph, pveceph (có sẵn) | Cần repo enterprise (đã kiểm thử kỹ hơn) hoặc hỗ trợ chính hãng/SLA → mua subscription theo CPU socket tại proxmox.com |
| Tự động hóa | Ansible (GPL), Bash, jq, tmux | Không cần ở quy mô lab. Giao diện web cho Ansible: AWX (miễn phí nhưng nặng, chạy trên Kubernetes) hoặc Ansible Automation Platform (trả phí) — chỉ khi có nhiều đội vận hành |
| Theo dõi trạng thái cập nhật nhiều remote | PDM (bài 04) | Quản lý khóa subscription tập trung của PDM chỉ có ý nghĩa khi có subscription |
| Mirror đóng băng bản đã thử (tùy chọn) | aptly hoặc apt-mirror | Không |
| Cổng thông báo | Mattermost/Gotify/Mailu (bài 37/15/16) hoặc SMTP ngoài | Không |
Quy mô triển khai: từ 1 node đến hàng trăm node
| Quy mô | Chiến lược cập nhật | Quorum / Ceph cần lưu ý | Công cụ |
|---|---|---|---|
| 1 node standalone (node5, node6) | Không có HA nên có downtime = thời gian reboot (vài phút). Chọn khung giờ thấp tải, backup PBS trước, chỉ reboot khi kernel/QEMU/lib đổi. Guest tự tắt/bật theo startup order | Không có quorum. Nếu có node thứ hai ở cluster khác, PDM/qm remote-migrate giúp chuyển tạm (tính năng cross-cluster, cần kiểm lại trên máy thật) | apt, pve-rolling.sh preflight/postcheck, PBS |
| 2–3 node (+QDevice) | Maintenance mode hoạt động như cluster lớn; 2 node phải có QDevice để còn quorum khi 1 node tắt | 2 node + QDevice = 3 phiếu, tắt 1 node còn 2 phiếu = quorum nhưng không dung sai thêm. Ceph 3 node size 3: tắt 1 node → còn 2 bản, thêm 1 lỗi nữa là dừng I/O | ha-manager, QDevice, pve-rolling.sh |
| Cluster 4–~30 node (HOATRANHUB là ví dụ) | Một node/lần (serial: 1), staging → production, cửa sổ bảo trì cố định. Thời gian tăng tuyến tính theo số node | Nên có số node lẻ hoặc QDevice. Failure domain Ceph là host và size 3 thì không bao giờ tắt 2 host cùng lúc | Ansible từ ops01, PDM xem tổng quan |
| > ~30 node | Chia nhiều cluster (mỗi cluster ≤ ~24–30 node), cập nhật theo sóng: cluster canary → 10% → 50% → 100%. Các cluster độc lập có thể chạy song song, trong mỗi cluster vẫn serial: 1 | Giảm bán kính ảnh hưởng của một lỗi gói; corosync ổn định hơn | Ansible (mỗi cluster một tiến trình -l cluster_x), PDM (bài 04) để nhìn tổng quan, pipeline Gitea Actions (bài 22) tùy chọn, mirror đóng băng |
QDevice cho cluster 4 node (khuyến nghị của bài cho HOATRANHUB; pve-docs không khuyến khích QDevice với cluster số node lẻ):
# Máy QDevice phải NẰM NGOÀI cluster (Raspberry Pi, VM ở site phụ, NAS có container...) — không đặt trên chính HOATRANHUB
external# apt install corosync-qnetd
# Trên MỘT node của cluster, sau khi đã cài corosync-qdevice trên mọi node:
node1# apt install corosync-qdevice # chạy trên node1..node4
node1# pvecm qdevice setup <IP_QDEVICE> # SSH key của cluster tự được chép sang QDevice
node1# pvecm status # Expected votes 5, Total votes 5, Quorum 3
Kết quả: 5 phiếu, quorum 3 → khi 1 node bảo trì vẫn còn dung sai thêm 1 lỗi. Nếu QDevice chết thì quay về 4 phiếu như cũ (cluster chẵn: QDevice chỉ tăng độ sẵn sàng, theo docs).
Repo no-subscription và chiến lược vòng cập nhật
Chuẩn hóa nguồn APT · Các vòng cập nhật và cổng đi tiếp
3.1 Chuẩn hóa nguồn APT
Mục tiêu: trên mỗi node chỉ có một nguồn PVE (pve-no-subscription) và một nguồn Ceph (ceph-tentacle no-subscription), không có pve-enterprise (trả 401 khi không có subscription) và không có pve-test. Kiểm tra những nguồn apt thực sự đang bật:
apt-get indextargets --format '$(SITE) $(RELEASE) $(COMPONENT)' | sort -u
# (mẫu) deb.debian.org trixie main non-free-firmware … ; download.proxmox.com trixie pve-no-subscription ;
# download.proxmox.com trixie no-subscription ← Ceph Tentacle
Nếu còn file trùng (ví dụ pve-no-subscription.list ở bài 02 cùng proxmox.sources) hoặc còn enterprise, chuẩn hóa như sau (chạy trên từng node, đã sao lưu /etc/apt):
set -euo pipefail
d=/root/apt-backup-$(date +%F-%H%M%S); mkdir -p "$d"; cp -a /etc/apt/sources.list /etc/apt/sources.list.d "$d"/
for f in /etc/apt/sources.list.d/*; do
[ -f "$f" ] || continue
case "$f" in *.disabled|*/proxmox.sources|*/ceph.sources|*/debian.sources) continue ;; esac
if grep -qE 'enterprise\.proxmox\.com|download\.proxmox\.com/debian/(pve|ceph)' "$f"; then mv -v "$f" "$f.disabled"; fi
done
cat > /etc/apt/sources.list.d/proxmox.sources <<'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pve
Suites: trixie
Components: pve-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
if [ -f /etc/pve/ceph.conf ]; then # node có Ceph: một nguồn ceph-tentacle no-subscription
cat > /etc/apt/sources.list.d/ceph.sources <<'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/ceph-tentacle
Suites: trixie
Components: no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
elif [ -f /etc/apt/sources.list.d/ceph.sources ]; then # node không có Ceph: tắt file enterprise mặc định
mv -v /etc/apt/sources.list.d/ceph.sources /etc/apt/sources.list.d/ceph.sources.disabled
fi
apt-get update
apt-cache policy pve-manager ceph-common | grep -E 'Installed|Candidate|http'
*.disabled không được apt đọc (apt chỉ nhận đuôi .list/.sources). Vẫn cần repo Debian gốc (deb.debian.org, security.debian.org) — pve-docs nhấn mạnh phải có thêm kho Debian bên cạnh kho Proxmox. Đừng trộn kho bookworm vào node trixie (bài 02). Với cluster Ceph chưa lên Tentacle (đang Squid) thì chưa đổi ceph.sources — xem mục 8.
/etc/apt/apt.conf.d/no-nag-script (script sửa proxmoxlib.js sau mỗi lần cập nhật), nó can thiệp vào gói proxmox-widget-toolkit mỗi lần apt chạy và là nguyên nhân thường gặp của giao diện web lỗi sau cập nhật (mục 13). Khuyến nghị gỡ hook này: rm /etc/apt/apt.conf.d/no-nag-script && apt reinstall proxmox-widget-toolkit. Popup subscription chỉ là thông báo.
3.2 Các vòng cập nhật và cổng đi tiếp
| Vòng | Phạm vi | Khi nào | Điều kiện đi tiếp (go/no-go) |
|---|---|---|---|
| 0 — staging | Cluster PVE ảo 3 node (nested, có Ceph 1 OSD/node) + node6 làm canary cho PVE | Thứ Hai 09:00, ngay khi apt list --upgradable có gói mới đáng kể | Sang vòng 1 sau ≥ 3 ngày, sang vòng 2 sau ≥ 5 ngày làm việc, với điều kiện: reboot sạch, systemctl --failed rỗng, journal không có lỗi mới, migrate/backup/restore thử đều đạt, không có thread lỗi nghiêm trọng liên quan trên forum |
| 1 — site phụ | node5 (standalone) | +3 ngày sau vòng 0 | Không phát sinh lỗi; VM pbsdr01/dịch vụ site phụ vẫn bình thường |
| 2 — production | HOATRANHUB: node4 → node3 → node2 → node1 | Thứ Ba tuần sau 19:00–21:30 (kết thúc trước job backup 22:00) | Mọi điều kiện trên + preflight xanh + backup PBS gần nhất ≤ 36 giờ và đã verify |
| Vá khẩn (CVE đang bị khai thác) | Rút ngắn: vòng 0 (24 giờ) → vòng 2 | Ngoài lịch, có phê duyệt | Giữ nguyên preflight/backup; ghi lý do rút ngắn |
- Staging ảo: dựng 3 VM PVE trên
node5/node6(bật nested virtualization, CPUhost, 4 vCPU, 8 GB RAM, 2 đĩa; kiểm tra nested bằngcat /sys/module/kvm_intel/parameters/nestedraYhoặc1, CPU AMD dùngkvm_amd), tạo cluster tênSTAGINGvà Ceph tương tự bài 03 (1 OSD mỗi VM). Quy hoạch tên/IP riêng, không trùng bảng CANON và ghi vào NetBox (bài 23). Staging không thay phần cứng thật nhưng bắt được lỗi gói, lỗi cấu hình và cho phép tập dượt quy trình. Chi tiết kernel/NIC phần cứng chỉnode6kiểm được. - Soak: cho staging chạy workload thật (một VM backup, một VM migrate liên tục) trong thời gian chờ.
- Ghi lại để so sánh: sau vòng 0, lưu
pveversion -v > versions-ring0.txt; sau vòng 2 so sánhdiffđể biết production có nhận đúng bộ gói đã thử không. - Hạn chế của apt: index chỉ biết bản mới nhất; nếu vòng 2 chạy vài ngày sau vòng 0 mà repo đã ra bản mới hơn, production sẽ nhận bản mới hơn bản đã thử. Chấp nhận được với quy mô lab; với > 30 node nên dựng mirror đóng băng (aptly/apt-mirror): đồng bộ repo về nội bộ, thử trên staging rồi mới "publish" snapshot cho production (cần kiểm lại trên máy thật về khóa ký và kho Proxmox).
Chuẩn bị trước mỗi lần cập nhật
Điều kiện go/no-go · Cài công cụ trên node và máy điều khiển · Chạy preflight
4.1 Điều kiện go/no-go
| Điều kiện | Cách kiểm tra | Nếu không đạt |
|---|---|---|
| Cluster có quorum, đủ phiếu | pvecm status → Quorate: Yes, Total votes = Expected votes | Không cập nhật; xử lý theo bài 11 |
| Biên quorum ≥ 1 (sau khi tắt 1 node vẫn ≥ quorum) | Total votes − 1 ≥ Quorum | Dừng; sửa node lỗi trước |
Ceph HEALTH_OK, mọi PG active+clean | ceph -s, ceph pg stat | Chờ recovery xong, tìm nguyên nhân WARN |
| HA không có dịch vụ lỗi, không bị disarm | ha-manager status | Xử lý dịch vụ error/fence; arm-ha nếu cần |
| Không có backup/migration đang chạy | GUI Tasks; pvenode task list --source active | Chờ hoặc dời giờ |
| Backup PBS mới nhất ≤ 36 giờ và đã verify | pve-rolling.sh preflight hoặc PBS → Datastore → Content | Chạy backup bổ sung (4.4) |
Dư ≥ 5 GB trên / (khuyến nghị ≥ 10 GB) | df -h / | Dọn dung lượng |
| Có đường vào console (IPMI/iDRAC/KVM) | Đăng nhập thử BMC | Không reboot khi chưa có |
| Đã thông báo và đang trong cửa sổ bảo trì | Mục 11 | Hoãn |
4.2 Cài công cụ trên node và máy điều khiển
# Trên mọi node PVE
apt-get install -y jq tmux
install -m 0750 pve-rolling.sh /usr/local/sbin/pve-rolling.sh # nội dung script ở mục 6
# Trên ops01 (bài 07) hoặc máy quản trị bất kỳ
sudo apt-get install -y ansible
ansible --version
tmux new -s update (hoặc screen). Nâng cấp qua SSH hoặc console, không qua Shell trong giao diện web — phiên web đứt khi pveproxy khởi động lại (wiki Upgrade 8→9 cũng khuyến cáo như vậy).
4.3 Chạy preflight
pve-rolling.sh preflight
Kết quả mong đợi (mẫu):
2026-10-20 19:02:11 [node4] phiếu: tổng=4, quorum=3
2026-10-20 19:02:11 [node4] CẢNH BÁO: sau khi drain sẽ không còn dung sai lỗi (thêm QDevice nếu số node chẵn)
2026-10-20 19:02:12 [node4] Ceph: không có cảnh báo, 97 pgs: 97 active+clean
2026-10-20 19:02:13 [node4] backup: mọi guest đang chạy có bản ≤ 36 giờ
2026-10-20 19:02:13 [node4] PREFLIGHT ĐẠT
4.4 Backup trước khi cập nhật (PBS)
Job hằng đêm 22:00 (bài 04) là lớp bảo vệ chính. Trước cửa sổ bảo trì:
- PBS → Datastore
syno-primary→ Content: xác nhận có snapshot ≤ 36 giờ cho các VM trọng yếu và cột Verify State là OK. - Chạy thêm backup cho VM nền tảng (Pi-hole 247, step-CA 242, Authentik 234, dc1 250, Mailu 246) ít nhất 1 giờ trước giờ cập nhật để không chồng job 22:00. GUI: Datacenter → Backup → chọn job → Run now (hoặc tạo job "pre-update" không lịch gồm các VM này). CLI chạy được từ node bất kỳ vì gọi API đúng node đang giữ VM (
vzdumpthuần chỉ làm việc với guest trên node cục bộ); theo dõi trong Tasks:
for id in 247 242 234 250 246; do
node=$(pvesh get /cluster/resources --type vm --output-format json | jq -r --argjson id "$id" '.[] | select(.vmid == $id) | .node')
pvesh create "/nodes/$node/vzdump" --vmid "$id" --storage pbs-primary --mode snapshot \
--notes-template '{{guestname}} ({{vmid}}) - pre-update {{node}}'
done
- Sao lưu cấu hình từng node (nhỏ, đẩy ra ngoài node):
d=/root/preupdate/$(date +%F)/$(hostname -s); mkdir -p "$d"
tar czf "$d/etc-pve-network-apt.tgz" /etc/pve /etc/corosync /etc/ceph /etc/network /etc/apt /etc/default/pve-ha-manager 2>/dev/null || true
pveversion -v > "$d/pveversion.txt"
dpkg -l > "$d/dpkg.txt"
pvecm status > "$d/pvecm.txt" 2>&1 || true
ha-manager status > "$d/ha.txt" 2>&1 || true
ceph -s > "$d/ceph-status.txt" 2>&1 || true
ceph versions > "$d/ceph-versions.txt" 2>&1 || true
qm list > "$d/qm-list.txt"; pct list > "$d/pct-list.txt"
chmod -R go-rwx /root/preupdate
scp -rp "/root/preupdate/$(date +%F)" [email protected]:/srv/backup/pve-preupdate/ # ops01 (bài 07); tạo thư mục đích trước
/etc/pve có priv/ (khóa, token, keyring Ceph) nên file .tgz phải để quyền 600 như trên, chỉ lưu ở nơi tin cậy (ops01 có mã hóa đĩa/NAS riêng) và xóa bản cũ theo chính sách lưu giữ — đừng đính kèm vào ticket hay chat.
qm snapshot <vmid> pre-update — nhưng snapshot không thay cho PBS khi node/đĩa hỏng.
4.5 Ghi lại "trạng thái gốc"
pve-rolling.sh drain tự ghi danh sách guest đang chạy vào /var/lib/pve-rolling-<node>.state để trả guest không-HA về đúng node cũ. Với thao tác tay hãy tự lưu: qm list; pct list và pvesh get /cluster/resources --type vm.
Cập nhật cuốn chiếu từng node (GUI + CLI)
Đặt cờ Ceph (một lần cho cả cluster) · Bật maintenance mode và chờ HA chuyển guest · Di chuyển guest không thuộc HA
Thứ tự gợi ý cho HOATRANHUB: node4 → node3 → node2 → node1 (giống thứ tự restart corosync ở bài 03; node1 là MON leader và NUT master ở bài 10 nên làm cuối). ha-manager status cho biết node đang là CRM master; khi node master bị reboot, HA bầu master mới trên node khác (bình thường, nhưng theo dõi ha-manager status ở bước kiểm tra sau reboot).
5.1 Đặt cờ Ceph (một lần cho cả cluster)
GUI: chọn một node → Ceph → OSD → Manage Global Flags → tick noout và norebalance → OK.
ceph osd set noout
ceph osd set norebalance
ceph health detail # (mẫu) HEALTH_WARN … OSDMAP_FLAGS: noout,norebalance flag(s) set
Tùy chọn hẹp hơn: ceph osd set-group noout node4 chỉ đặt cờ cho CRUSH bucket của node cần bảo trì (cú pháp set-group <flags> <who> nằm trong tài liệu health checks của Ceph; cần kiểm lại trên máy thật với tên bucket).
5.2 Bật maintenance mode và chờ HA chuyển guest
# Chạy trên node nào cũng được; ví dụ cho node4
ha-manager crm-command node-maintenance enable node4
watch -n3 ha-manager status
Kết quả mong đợi (mẫu — chuỗi chính xác có thể khác):
quorum OK
master node2 (active, Tue Oct 20 19:12:03 2026)
lrm node1 (active, Tue Oct 20 19:12:08 2026)
lrm node2 (active, Tue Oct 20 19:12:07 2026)
lrm node3 (idle, Tue Oct 20 19:12:05 2026)
lrm node4 (maintenance mode, Tue Oct 20 19:12:08 2026)
service vm:100 (node1, started)
service vm:101 (node2, started)
Chờ tới khi không còn dòng service … (node4, started|migrate|relocate). Dịch vụ HA ở trạng thái stopped vẫn ở lại node (không được chuyển).
ha-node-affinity (node1:2,node2:2,node3:1,node4:1, strict 0) khiến guest HA ưu tiên chạy trên node1/node2. Khi drain node4 và node3 hầu như không có guest HA nào phải di chuyển; khi drain node2 chúng sang node1 (cùng priority 2) và ngược lại. Đó là lý do thứ tự node4 → node3 → node2 → node1 giảm số lần migrate. Nếu rule của bạn khác, hãy kiểm tra ha-manager rules list để dự đoán node đích.
ha-manager crm-command migrate vm:<id> <node> từng dịch vụ).
5.3 Di chuyển guest không thuộc HA
Maintenance mode chỉ chuyển guest trong HA. Guest còn lại (kể cả pbs01, pdm01 nếu chưa đưa vào HA) cần chuyển tay.
GUI: chọn node → nút Bulk Actions → Bulk Migrate (tiêu đề node) → chọn node đích, tích VM/CT, Migrate.
qm list; pct list # guest còn chạy trên node4
qm migrate 101 node3 --online 1 # VM: live migration
pct migrate 200 node3 --restart # CT: không live migrate được, dùng restart migration
# Hoặc gom: pvenode migrateall node3 --vms 101,102 --max-workers 2
pbs01 (VM101) và pdm01 (VM102) nằm trên node4. Live migration không làm đứt NFS tới syno-primary nhưng đừng để nó chồng giờ backup 22:00, sync 00:30–01:00 hay GC chủ nhật 05:00 của bài 04. Ceph của lab dùng chung dải 10.11.45.0/24 cho public và cluster (bài 03, pveceph init --network), nên recovery sau reboot đi chung đường với migration và quản trị: giới hạn số luồng (--max-workers 1–2) hoặc băng thông migration (Datacenter → Options → Bandwidth Limits), chỉnh tốc độ backfill/recovery theo bài 11.
5.4 Cập nhật gói
tmux new -s update # hoặc: tmux attach -t update
apt update
apt list --upgradable 2>/dev/null | head -40
apt-get -s dist-upgrade | grep -E '^(Inst|Remv)' | head -60 # xem trước: có gói bị GỠ không?
apt full-upgrade
- Dùng
apt full-upgrade(hoặcapt dist-upgrade); docs khẳng địnhapt upgradecó thể để lại trạng thái gói dở dang vì PVE là rolling release. - Dừng lại nếu bản mô phỏng có dòng
Remv proxmox-ve,Remv pve-managerhay apt báo "You are attempting to remove the meta-package 'proxmox-ve'" — thường do thiếu repo (mục 3.1). - Xem ghi chú thay đổi: GUI node → Updates → Changelog, hoặc
apt changelog pve-manager. - Nếu apt hỏi về file cấu hình (
/etc/...), giữ bản hiện tại trừ khi changelog yêu cầu khác (ghi lại quyết định). - GUI: node → Updates → Refresh → Upgrade mở cửa sổ console chạy cập nhật; ưu tiên SSH + tmux vì phiên web dễ đứt. Script
pveupgradeđi kèmpve-managercũng bọc việc này nhưng không có trong tài liệu chính thức (docs chỉ nêuapt update+apt full-upgrade); nếu muốn dùng, kiểm tra trước trên máy thật:dpkg -S "$(command -v pveupgrade)". -
apt autoremove: không chạy ngay sau khi cập nhật kernel — cần giữ lại kernel cũ để quay lui (mục 10).
5.5 Có cần reboot không?
latest=$(ls -1 /boot/vmlinuz-* | sed 's|/boot/vmlinuz-||' | sort -V | tail -1)
echo "chạy: $(uname -r) — mới nhất: $latest"
Reboot khi kernel mới hơn kernel đang chạy; đồng thời nên reboot khi các gói pve-qemu-kvm, libc6, corosync, ceph-*, microcode (intel-microcode/amd64-microcode) hoặc pve-firmware đổi — docs: cập nhật microcode luôn cần reboot. VM giữ nguyên bản QEMU cũ cho tới khi được dừng/khởi động lại hoặc live-migrate sang node đã cập nhật (reboot trong guest không đủ); quy trình cuốn chiếu tự giải quyết việc này vì guest được migrate qua các node đã cập nhật.
5.6 Reboot và kiểm tra sau reboot
GUI: node → Reboot. CLI: systemctl reboot. Giữ console BMC mở nếu là phần cứng thật.
Sau khi node lên lại (SSH vào được):
pveversion # (mẫu) pve-manager/9.2.x/… (running kernel: 7.0.x-pve)
uname -r
pvecm status # Quorate: Yes; Total votes = Expected votes (4/4)
systemctl --failed --no-pager
ha-manager status # LRM của node vẫn ở "maintenance mode" (chưa tắt)
ceph -s # 4 osds: 4 up, 4 in; PG recovering → active+clean; WARN chỉ do cờ noout/norebalance
journalctl -p err -b --no-pager | tail -20
Mong đợi: đủ phiếu (4/4), OSD của node up/in, không unit lỗi. Một vài PG chuyển peering/degraded rồi active+clean trong vài phút là bình thường.
5.7 Trả node về cluster
ha-manager crm-command node-maintenance disable node4
ha-manager status # guest HA đã ở node4 lúc bật maintenance sẽ được chuyển về
Guest không-HA chuyển về bằng GUI (Bulk Migrate theo chiều ngược lại) hoặc qm migrate/pct migrate từ node đang giữ chúng. Sau đó chờ Ceph ổn định rồi mới sang node kế:
watch -n10 "ceph -s | grep -E 'health|osd:|pgs|recovery'"
Chỉ sang node tiếp theo khi mọi PG active+clean và cảnh báo duy nhất còn lại là OSDMAP_FLAGS.
5.8 Kết thúc đợt cập nhật
Sau node cuối cùng:
ceph osd unset norebalance
ceph osd unset noout
ceph -s # HEALTH_OK
pvecm status && ha-manager status
for n in node1 node2 node3 node4; do ssh $n 'echo $(hostname -s): $(pveversion | cut -d" " -f1) kernel $(uname -r)'; done
Mọi node phải cùng phiên bản pve-manager và kernel. Ghi biên bản (ai, khi nào, từ bản nào lên bản nào, sự cố) vào log bảo trì. Thời gian tham khảo mỗi node: di dời guest 3–10 phút, apt full-upgrade 5–15 phút, reboot 3–10 phút (phần cứng thật có POST dài), Ceph ổn định 5–15 phút — tức 20–40 phút/node, ước tính; hãy đo trong lab của bạn.
Smoke test sau đợt cập nhật (khoảng 10 phút):
- Khởi động một VM thử trên
vm-ceph(VM test có sẵn, hoặc VM dựng từ template ở bài 07 khi đã có). - Live-migrate VM thử qua lại giữa hai node; thử
ha-manager crm-command migrate vm:<id> <node>nếu VM nằm trong HA. - Chạy backup thử VM đó sang
pbs-primaryvà xác nhận snapshot xuất hiện ở PBS. - Kiểm tra DNS nội bộ (
getent hosts pbs01) và đăng nhập giao diện web bằng tài khoản quản trị có TOTP. - Xem dashboard giám sát (bài 15, khi đã dựng): không có cảnh báo mới về node, Ceph hay dịch vụ.
Script trợ lý pve-rolling.sh
Script gói các bước kiểm tra và drain/undrain để dùng cả khi làm tay lẫn trong Ansible. Chạy bằng root trên node PVE; cần jq. Lưu ý kỹ thuật: output của lệnh luôn gán vào biến rồi grep <<<"$biến" để tránh lỗi SIGPIPE của lệnh | grep -q khi bật pipefail.
#!/usr/bin/env bash
# /usr/local/sbin/pve-rolling.sh — trợ lý cập nhật cuốn chiếu PVE 9.x (+ Ceph). Chạy bằng root TRÊN node PVE.
# Dùng: pve-rolling.sh preflight | flags-set | flags-unset | drain <node-đích> | undrain | postcheck | ceph-wait [giây]
set -euo pipefail
ME=$(hostname -s)
STATE=/var/lib/pve-rolling-$ME.state # danh sách guest đang chạy trước khi drain
PBS_STORAGE=${PBS_STORAGE:-pbs-primary}
MAX_BACKUP_AGE_H=${MAX_BACKUP_AGE_H:-36}
BACKUP_EXCLUDE=${BACKUP_EXCLUDE:-"101 102"} # VM không nằm trong job backup (pbs01, pdm01 — bài 04)
DRAIN_TIMEOUT=${DRAIN_TIMEOUT:-1800}
log() { printf '%s [%s] %s\n' "$(date '+%F %T')" "$ME" "$*"; }
die() { log "LỖI: $*" >&2; exit 1; }
command -v jq >/dev/null || die "thiếu jq (apt-get install -y jq)"
in_cluster() { [ -f /etc/pve/corosync.conf ]; }
has_ceph() { [ -f /etc/pve/ceph.conf ] && command -v ceph >/dev/null; }
ha_sids() { pvesh get /cluster/ha/resources --output-format json | jq -r '.[].sid'; }
ha_busy() { local s; s=$(ha-manager status) || return 0; grep -Eq "^service [^ ]+ \($ME, (started|migrate|relocate)" <<<"$s"; }
running_guests() { { qm list | awk 'NR>1 && $3=="running"{print "vm", $1}'; pct list | awk 'NR>1 && $2=="running"{print "ct", $1}'; }; }
ceph_other_checks() { # in ra các health check KHÁC OSDMAP_FLAGS (cờ do ta đặt thì được phép)
local h; h=$(ceph --connect-timeout 15 health detail --format json) || { echo "ceph-không-trả-lời"; return 0; }
jq -r '.checks | keys[] | select(. != "OSDMAP_FLAGS")' <<<"$h"
}
pgs_clean() { local s; s=$(ceph --connect-timeout 15 pg stat) || return 1; grep -Eq '^([0-9]+) pgs: \1 active\+clean' <<<"$s"; }
migrate_guest() { # migrate_guest <vm|ct> <vmid> <node-đích>; chờ task xong
local kind=$1 id=$2 target=$3 src upid st
src=$(pvesh get /cluster/resources --type vm --output-format json | jq -r --argjson id "$id" '.[] | select(.vmid == $id) | .node')
[ -n "$src" ] || { log "không thấy guest $id"; return 1; }
[ "$src" != "$target" ] || return 0
if [ "$kind" = vm ]; then
upid=$(pvesh create "/nodes/$src/qemu/$id/migrate" --target "$target" --online 1 | tr -d '"')
else
upid=$(pvesh create "/nodes/$src/lxc/$id/migrate" --target "$target" --restart 1 | tr -d '"')
fi
while :; do
st=$(pvesh get "/nodes/$src/tasks/$upid/status" --output-format json)
[ "$(jq -r .status <<<"$st")" = stopped ] && break
sleep 5
done
[ "$(jq -r .exitstatus <<<"$st")" = OK ] || { log "migrate $kind $id thất bại: $(jq -r .exitstatus <<<"$st")"; return 1; }
log "đã chuyển $kind $id: $src -> $target"
}
cmd_preflight() {
local ps hs votes quorum others act sites avail cutoff id ts stale=""
declare -A last=()
if in_cluster; then
ps=$(pvecm status)
grep -Eq '^Quorate:[[:space:]]+Yes' <<<"$ps" || die "cụm KHÔNG có quorum"
votes=$(awk '/^Total votes:/{print $3}' <<<"$ps"); quorum=$(awk '/^Quorum:/{print $2}' <<<"$ps")
log "phiếu: tổng=$votes, quorum=$quorum"
[ $((votes - 1)) -ge "$quorum" ] || die "tắt thêm 1 node sẽ mất quorum"
[ $((votes - 1)) -gt "$quorum" ] || log "CẢNH BÁO: sau khi drain sẽ không còn dung sai lỗi (thêm QDevice nếu số node chẵn)"
hs=$(ha-manager status)
grep -Eq '^quorum OK' <<<"$hs" || die "HA: quorum chưa OK"
! grep -qi 'disarm' <<<"$hs" || die "HA đang disarm — arm-ha trước khi cập nhật gói"
! grep -Eq '^service [^ ]+ \([^,]+, (error|fence)' <<<"$hs" || die "có dịch vụ HA ở trạng thái error/fence"
fi
if has_ceph; then
others=$(ceph_other_checks)
[ -z "$others" ] || die "Ceph có cảnh báo ngoài cờ: $(tr '\n' ' ' <<<"$others")"
pgs_clean || die "Ceph: PG chưa active+clean"
log "Ceph: không có cảnh báo, $(ceph pg stat)"
fi
act=$(pvenode task list --source active --output-format json | jq -r '[.[].type] | unique | map(select(test("vzdump|qmigrate|vzmigrate"))) | join(",")')
[ -z "$act" ] || die "đang có tác vụ: $act"
sites=$(apt-get indextargets --format '$(SITE)' | sort -u)
! grep -q 'enterprise.proxmox.com' <<<"$sites" || log "CẢNH BÁO: repo enterprise đang bật (không có subscription sẽ lỗi 401)"
avail=$(df -BG --output=avail / | awk 'NR==2{gsub("G","",$1); print $1}')
[ "$avail" -ge 5 ] || die "chỉ còn ${avail}G trên / (cần ≥ 5G)"
# backup: bản mới nhất của từng VMID trên storage PBS
cutoff=$(( $(date +%s) - MAX_BACKUP_AGE_H * 3600 ))
while read -r id ts; do last[$id]=$ts; done < <(pvesm list "$PBS_STORAGE" --content backup 2>/dev/null \
| awk 'NR>1{n=split($1,a,"/"); print a[n-1], a[n]}' | sort -k1,1 -k2,2r | awk '!seen[$1]++')
while read -r _ id; do
case " $BACKUP_EXCLUDE " in *" $id "*) continue ;; esac
ts=${last[$id]:-}
if [ -z "$ts" ] || [ "$(date -d "$ts" +%s)" -lt "$cutoff" ]; then stale="$stale $id"; fi
done < <(running_guests)
if [ -z "$stale" ]; then log "backup: mọi guest đang chạy có bản ≤ ${MAX_BACKUP_AGE_H} giờ"; else log "CẢNH BÁO: guest thiếu backup mới:$stale"; fi
log "PREFLIGHT ĐẠT"
}
cmd_flags_set() { has_ceph || return 0; ceph osd set noout; ceph osd set norebalance; log "đã đặt noout + norebalance"; }
cmd_flags_unset() { has_ceph || return 0; ceph osd unset norebalance; ceph osd unset noout; log "đã gỡ noout + norebalance"; }
cmd_drain() {
local target=${1:?cần tên node đích} sids kind id failed=0 left t0=$SECONDS
[ "$target" != "$ME" ] || die "node đích phải khác $ME"
running_guests > "$STATE"
log "ghi $(wc -l < "$STATE") guest đang chạy vào $STATE"
if in_cluster; then
ha-manager crm-command node-maintenance enable "$ME"
while ha_busy; do
(( SECONDS - t0 < DRAIN_TIMEOUT )) || die "HA chưa chuyển hết guest sau ${DRAIN_TIMEOUT}s (xem ha-manager status; rule node-affinity strict?)"
log "chờ HA chuyển guest…"; sleep 10
done
fi
sids=$(ha_sids)
while read -r kind id; do
! grep -qx "$kind:$id" <<<"$sids" || continue # guest HA đã do maintenance mode xử lý
migrate_guest "$kind" "$id" "$target" || failed=$((failed + 1))
done < "$STATE"
left=$(running_guests | wc -l)
{ [ "$failed" -eq 0 ] && [ "$left" -eq 0 ]; } || die "drain chưa xong: $failed lỗi migrate, còn $left guest đang chạy"
log "DRAIN XONG — node trống, có thể cập nhật/reboot"
}
cmd_undrain() {
local sids kind id failed=0
if in_cluster; then ha-manager crm-command node-maintenance disable "$ME"; log "đã tắt maintenance — HA sẽ trả guest về $ME"; fi
[ -f "$STATE" ] || { log "không có $STATE — bỏ qua bước trả guest không-HA"; return 0; }
sids=$(ha_sids)
while read -r kind id; do
! grep -qx "$kind:$id" <<<"$sids" || continue
migrate_guest "$kind" "$id" "$ME" || failed=$((failed + 1))
done < "$STATE"
[ "$failed" -eq 0 ] || die "$failed guest không-HA chưa trả về được $ME (xem $STATE)"
mv "$STATE" "$STATE.done"; log "đã trả guest không-HA về $ME"
}
cmd_postcheck() {
local u ps exp tot down
for u in pve-cluster pvedaemon pveproxy pvestatd; do systemctl is-active --quiet "$u" || die "dịch vụ $u không chạy"; done
[ "$(systemctl --failed --no-legend | wc -l)" -eq 0 ] || { systemctl --failed --no-pager; die "có unit lỗi"; }
if in_cluster; then
systemctl is-active --quiet corosync || die "corosync không chạy"
ps=$(pvecm status)
grep -Eq '^Quorate:[[:space:]]+Yes' <<<"$ps" || die "chưa có quorum"
exp=$(awk '/^Expected votes:/{print $3}' <<<"$ps"); tot=$(awk '/^Total votes:/{print $3}' <<<"$ps")
[ "$exp" = "$tot" ] || die "chưa đủ phiếu ($tot/$exp)"
fi
if has_ceph; then
down=$(ceph --connect-timeout 15 osd tree down --format json | jq '[.nodes[] | select(.type == "osd")] | length')
[ "$down" -eq 0 ] || die "còn $down OSD đang down"
fi
log "POSTCHECK ĐẠT — $(pveversion | cut -d' ' -f1), kernel $(uname -r)"
}
cmd_ceph_wait() {
has_ceph || return 0
local timeout=${1:-1800} t0=$SECONDS others
while :; do
others=$(ceph_other_checks || true)
if [ -z "$others" ] && pgs_clean; then log "Ceph ổn định: $(ceph pg stat)"; return 0; fi
(( SECONDS - t0 < timeout )) || die "quá ${timeout}s mà Ceph chưa ổn định: ${others:-PG chưa active+clean}"
log "chờ Ceph: $(tr '\n' ' ' <<<"${others:-PG chưa active+clean}")"; sleep 20
done
}
case "${1:-}" in
preflight) cmd_preflight ;;
flags-set) cmd_flags_set ;;
flags-unset) cmd_flags_unset ;;
drain) shift; cmd_drain "$@" ;;
undrain) cmd_undrain ;;
postcheck) cmd_postcheck ;;
ceph-wait) shift; cmd_ceph_wait "$@" ;;
*) echo "Dùng: $0 preflight | flags-set | flags-unset | drain <node-đích> | undrain | postcheck | ceph-wait [giây]" >&2; exit 2 ;;
esac
preflight/drain/undrain trên staging và node6 (vòng 0) trước. Các điểm cần kiểm lại trên máy thật: định dạng ha-manager status (dòng service … (node, trạng_thái)), tên trường JSON của pvenode task list, ceph osd tree down, và việc pvesh create …/migrate trả về chuỗi UPID.
drain chỉ nên chạy khi đã có cờ Ceph: drain không tự đặt noout/norebalance (vì cờ áp dụng cho cả cluster, đặt một lần ở mục 5.1 hoặc pha 1 của Ansible).
Tự động hóa cho nhiều node bằng Ansible
Ansible miễn phí, chỉ cần SSH: không cài agent trên node. Máy điều khiển là ops01 (VM290, tạo ở bài 07) hoặc máy quản trị bất kỳ có SSH tới VLAN 45. Bài 05 sẽ siết SSH: cần mở 22/tcp từ ops01 tới dải IP các node PVE (IPSet do bài 05 đặt tên).
pve-ops/
├── ansible.cfg
├── inventory.yml
├── files/pve-rolling.sh # script ở mục 6
└── rolling-update.yml
ansible.cfg:
[defaults]
inventory = inventory.yml
interpreter_python = auto_silent
[ssh_connection]
pipelining = True
inventory.yml (thứ tự host trong cluster = thứ tự cập nhật):
all:
vars:
ansible_user: sysadmin # cần `apt install sudo` + sysadmin trong nhóm sudo; hoặc root (key-only) nếu chính sách bài 05 cho phép
ansible_become: true
children:
ring0_canary:
hosts:
node6: { ansible_host: 10.100.100.21 }
ring1_dr:
hosts:
node5: { ansible_host: 10.100.100.20 }
ring2_hoatranhub:
vars:
has_ceph: true
hosts: # tên host PHẢI trùng tên node trong PVE
node4: { ansible_host: 10.11.45.213 }
node3: { ansible_host: 10.11.45.212 }
node2: { ansible_host: 10.11.45.211 }
node1: { ansible_host: 10.11.45.210 }
rolling-update.yml:
---
# Chạy: ansible-playbook rolling-update.yml -l ring0_canary --tags preflight # chỉ kiểm tra, không đổi gì
# ansible-playbook rolling-update.yml -l ring2_hoatranhub -e reboot_always=true
# LUÔN giới hạn bằng -l: mỗi lần chỉ MỘT cluster (một vòng).
- name: Pha 0 - Cài script và kiểm tra trước
hosts: all
gather_facts: false
tags: [preflight]
tasks:
- name: Cài jq
ansible.builtin.command: apt-get install -y jq
register: jq_install
changed_when: jq_install.stdout is not search('(?m)^0 upgraded, 0 newly installed')
- name: Cài pve-rolling.sh
ansible.builtin.copy:
src: files/pve-rolling.sh
dest: /usr/local/sbin/pve-rolling.sh
owner: root
group: root
mode: "0750"
- name: Preflight
ansible.builtin.command: /usr/local/sbin/pve-rolling.sh preflight
changed_when: false
- name: Pha 1 - Đặt cờ Ceph (một lần cho cả cluster)
hosts: all
gather_facts: false
run_once: true
tasks:
- name: noout + norebalance
ansible.builtin.command: /usr/local/sbin/pve-rolling.sh flags-set
when: has_ceph | default(false) | bool
- name: Pha 2 - Cập nhật từng node (serial 1)
hosts: all
gather_facts: false
serial: 1
any_errors_fatal: true
vars:
rolling: /usr/local/sbin/pve-rolling.sh
peers: "{{ ansible_play_hosts_all }}"
drain_target: "{{ peers[(peers.index(inventory_hostname) + 1) % (peers | length)] }}"
tasks:
- name: Drain - HA maintenance mode và chuyển guest
ansible.builtin.command: "{{ rolling }} drain {{ drain_target }}"
when: (peers | length) > 1
- name: apt update
ansible.builtin.command: apt-get update
changed_when: false
- name: apt full-upgrade (giữ file cấu hình hiện tại)
ansible.builtin.command: >-
apt-get -y -o Dpkg::Options::=--force-confold -o Dpkg::Options::=--force-confdef dist-upgrade
environment:
DEBIAN_FRONTEND: noninteractive
register: upg
changed_when: upg.stdout is not search('(?m)^0 upgraded, 0 newly installed')
- name: Kernel mới hơn kernel đang chạy?
ansible.builtin.shell: |
latest=$(ls -1 /boot/vmlinuz-* | sed 's|/boot/vmlinuz-||' | sort -V | tail -1)
if [ "$latest" != "$(uname -r)" ]; then echo yes; else echo no; fi
args:
executable: /bin/bash
register: newer_kernel
changed_when: false
- name: Reboot
ansible.builtin.reboot:
msg: "Cập nhật cuốn chiếu PVE"
reboot_timeout: 1800
post_reboot_delay: 45
when: newer_kernel.stdout == 'yes' or (reboot_always | default(false) | bool)
- name: Postcheck - đủ phiếu, dịch vụ PVE, OSD up
ansible.builtin.command: "{{ rolling }} postcheck"
register: post
retries: 30
delay: 20
until: post.rc == 0
changed_when: false
- name: Undrain - tắt maintenance, trả guest
ansible.builtin.command: "{{ rolling }} undrain"
when: (peers | length) > 1
- name: Chờ Ceph active+clean
ansible.builtin.command: "{{ rolling }} ceph-wait 1800"
when: has_ceph | default(false) | bool
changed_when: false
- name: Pha 3 - Gỡ cờ Ceph và báo cáo phiên bản
hosts: all
gather_facts: false
tasks:
- name: Gỡ noout + norebalance
ansible.builtin.command: /usr/local/sbin/pve-rolling.sh flags-unset
run_once: true
when: has_ceph | default(false) | bool
- name: Phiên bản sau cập nhật
ansible.builtin.shell: echo "$(hostname -s) $(pveversion | cut -d' ' -f1) kernel $(uname -r)"
register: ver
changed_when: false
- name: Báo cáo
ansible.builtin.debug:
msg: "{{ ver.stdout }}"
Cách dùng theo vòng: chạy --tags preflight cho vòng đó trước; sau đó chạy thật. Nếu playbook dừng giữa chừng (any_errors_fatal), node đang xử lý được để nguyên ở maintenance mode và cờ Ceph vẫn còn — đó là chủ ý để người vận hành kiểm tra. Xử lý: sửa lỗi, rồi chạy tay pve-rolling.sh undrain trên node đó (hoặc ha-manager crm-command node-maintenance disable <node>), chạy lại playbook với -l các node còn lại, cuối cùng pve-rolling.sh flags-unset.
ops01 là VM trên chính cluster: nó bị live-migrate khi node chứa nó được drain, và phiên SSH có thể khựng vài giây. Playbook an toàn khi chạy lại (idempotent); với cluster lớn nên đặt máy điều khiển ngoài cluster được cập nhật (hoặc ở cluster quản trị riêng). Luôn chạy trong tmux.
Nhiều cluster (> ~30 node) — chạy theo sóng:
# inventory có các nhóm cluster_a, cluster_b, … ; mỗi cluster một tiến trình, bên trong vẫn serial: 1
ansible-playbook rolling-update.yml -l cluster_canary # sóng 1: cluster canary, chờ soak
for c in cluster_a cluster_b cluster_c; do # sóng 2: song song giữa các cluster độc lập
ansible-playbook rolling-update.yml -l "$c" > "logs/$c-$(date +%F).log" 2>&1 &
done; wait
Inventory động lấy từ NetBox (bài 23) hoặc xuất từ PDM là hướng mở rộng; PDM (bài 04) dùng để quan sát (Remotes → Updates) chứ không thay vòng lặp serial.
Nâng cấp Ceph
Ba loại nâng cấp · Điều kiện trước khi nâng Squid → Tentacle (wiki Proxmox) · Các bước nâng Squid → Tentacle (HOATRANHUB: 4 MON, 2 MGR, 4 OSD, không có MDS)
8.1 Ba loại nâng cấp
| Loại | Ví dụ | Cách làm |
|---|---|---|
| Cập nhật gói cùng release | Tentacle 20.2.3 → 20.2.4-pve4 | apt full-upgrade + reboot từng node (mục 5), hoặc restart daemon (8.4) |
| Nâng release | Squid 19.2 → Tentacle 20.2 | Quy trình wiki chính thức ở 8.3: mon → mgr → osd → (mds) rồi require-osd-release |
| Nâng release cùng lúc PVE major | Reef → Squid trước PVE 8 → 9 | Mục 9 |
Lab của bài 03 dựng mới ở Tentacle 20.2.4-pve4 nên không phải làm mục 8.3; mục 8.4–8.5 áp dụng cho các lần cập nhật sau. Cài Ceph cho một node mới thêm vào cluster đã ở Tentacle: pveceph install --repository no-subscription --version tentacle (tùy chọn --repository/--version theo man page pveceph; docs ghi mặc định enterprise và tentacle, nên luôn nêu rõ --repository no-subscription). Bài vẫn trình bày đủ 8.3 vì nhiều hệ thống còn Squid, mà Squid sắp hết hạn hỗ trợ (bảng phiên bản, mục 1).
8.2 Điều kiện trước khi nâng Squid → Tentacle (wiki Proxmox)
- Mọi node chạy PVE 9.1 trở lên với
pve-manager≥ 9.1.4 (staff forum 2026-09 nói cần PVE 9.2 trở lên). - Ceph đang là Squid với gói ≥ 19.2.3-pve3; cluster HEALTH_OK; đã có backup (mục 4.4).
- Kiểm:
pveversion --verbose | grep -E 'pve-manager|ceph'vàceph versions(mọi daemon cùng một bản). - Lệnh bắt đầu bằng
cephchỉ chạy một lần ở một node Ceph bất kỳ; các lệnh còn lại chạy ở từng node. - Thử trên staging trước (mục 3.2). Wiki Proxmox không đưa ra quy trình hạ cấp release Ceph; hãy coi bước
require-osd-releaselà điểm không quay lại (đường lui là khôi phục VM từ PBS — cần đối chiếu thêm tài liệu upgrade của Ceph upstream).
8.3 Các bước nâng Squid → Tentacle (HOATRANHUB: 4 MON, 2 MGR, 4 OSD, không có MDS)
- Đặt cờ (GUI: Ceph → OSD → Manage Global Flags):
ceph osd set noout
- Đổi repo Ceph trên từng node (không subscription:
ceph-tentacle, thành phầnno-subscription):
sed -i 's/squid/tentacle/' /etc/apt/sources.list.d/ceph.sources # định dạng .sources
grep -E 'URIs|Suites|Components' /etc/apt/sources.list.d/ceph.sources
# URIs: http://download.proxmox.com/debian/ceph-tentacle Suites: trixie Components: no-subscription
- Cập nhật gói trên từng node (daemon vẫn chạy bản Squid cho đến khi restart):
apt update
apt full-upgrade
- Restart MON, từng node một, sau mỗi lần kiểm tra
ceph -s(HEALTH_OK, hoặc WARN chỉ donoout):
systemctl restart ceph-mon.target
ceph -s
# Sau khi đủ 4 MON:
ceph mon dump | grep min_mon_release # phải là: min_mon_release 20 (tentacle)
- Restart MGR (thường đã tự restart cùng MON; nếu không thì làm trên từng node). Wiki lưu ý MGR có thể đơ sau lần restart MON đầu tiên — restart xong hết MON rồi mới restart MGR:
systemctl restart ceph-mgr.target
ceph -s # mgr: một active, còn lại standby
- Restart OSD, từng node một (chờ
ceph -svề HEALTH_OK/active+cleanrồi mới node kế):
systemctl restart ceph-osd.target
ceph -s
# Khi xong có thể thấy: all OSDs are running tentacle or later but require_osd_release < tentacle
- MDS (chỉ khi dùng CephFS): lab không có CephFS. Nếu có, làm đúng quy trình trong wiki (tắt standby-replay,
max_mds 1, dừng MDS standby, restart MDS active, khởi động lại standby, khôi phụcmax_mds/allow_standby_replay). - Chốt release (chỉ sau khi
ceph versionscho thấy mọi OSD đã ở 20.2):
ceph versions
ceph osd require-osd-release tentacle
ceph osd dump | grep require_osd_release # require_osd_release tentacle
- Gỡ cờ:
ceph osd unset noout
ceph -s # HEALTH_OK
Có thể tùy chọn bật telemetry (xem trước bằng ceph telemetry preview-all). Lưu ý: OSD tạo từ Octopus (15) trở về trước có thể thấy cột META trong ceph osd df tăng sau khi lên Tentacle ≤ 20.2.4; khắc phục tạm bằng ceph daemon osd.<id> compact từng OSD ngoài giờ cao điểm, hoặc dựng lại OSD (wiki Proxmox).
apt full-upgrade mà reboot thì mọi daemon tự chạy bản mới. Với nâng release, vẫn nên restart theo đúng thứ tự mon → mgr → osd trên toàn cluster trước khi chốt require-osd-release — đừng để một node vừa reboot đã làm OSD lên Tentacle khi còn MON chưa nâng.
8.4 Cập nhật bản vá Ceph (20.2.x → 20.2.y) không reboot
Khi apt full-upgrade chỉ đổi gói Ceph và bạn chưa muốn reboot, restart daemon theo thứ tự trên từng node:
systemctl restart ceph-mon.target # chờ ceph -s: đủ MON trong quorum
systemctl restart ceph-mgr.target
systemctl restart ceph-osd.target # chờ PG active+clean
ceph versions # trong lúc nâng sẽ thấy hai bản; xong thì chỉ còn một
Cập nhật trong cùng release không cần require-osd-release. Bản 20.2.4 (2026-08-19) kèm các bản vá CVE (trong đó CVE-2025-30156 liên quan khóa cephx) — đọc "Critical Upgrade Steps" trong ghi chú phát hành upstream và làm tiếp mục 8.5.
8.5 Di chuyển khóa cephx sau khi lên Ceph ≥ 20.2.4 / 19.2.6
Vì sao: Squid ≥ 19.2.6 và Tentacle ≥ 20.2.4 thêm các health check cho khóa và ticket dùng cipher cũ aes (bị ảnh hưởng bởi CVE-2025-30156). Ngay sau khi nâng, cluster vốn sạch cảnh báo có thể báo HEALTH_ERR ở hai check mức lỗi; pve-docs nhấn mạnh điều này không có nghĩa dịch vụ lưu trữ đã hỏng. Wiki nâng cấp 8→9 cũng ghi: có thể gặp HEALTH_ERR sau khi node MON đầu tiên reboot — cứ tiếp tục nâng nếu không có cảnh báo khác, và xóa cảnh báo sau khi xong theo quy trình di chuyển khóa.
Điều kiện (pve-docs, chương Ceph): pve-manager ≥ 9.2.19 và gói Ceph mới nhất trên mọi node; staged rotation cần Ceph ≥ 19.2.6-pve3 / 20.2.4-pve3 trên mọi MON; đã xong rolling restart; mọi node SSH được; chạy script trên một node, một lần, không chạy song song với việc khác (rolling restart, đổi khóa bằng công cụ khác).
Khả năng tương thích client:
| Client | Yêu cầu |
|---|---|
| VM dùng đĩa RBD | Userspace (gói PVE mới), trừ khi bật krbd |
| Container trên RBD | Luôn dùng kernel client → kernel đang chạy phải ≥ 7.0 |
| Mount CephFS | Kernel client → kernel ≥ 7.0 (trừ khi dùng fuse) |
Hệ quả cho bài này: không pin kernel < 7.0 (mục 10) trên node chạy container RBD sau khi đã siết cipher; kernel mặc định của PVE 9.2 là 7.0 nên bình thường không vấn đề. Kiểm tra: for n in node1 node2 node3 node4; do ssh $n 'echo $(hostname -s) $(uname -r)'; done.
# 1) Khóa của các dịch vụ trong cluster (mgr, mds, osd, mon, bootstrap, crash, lockbox) — luôn chạy dry-run trước
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-cluster-keys
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-cluster-keys --apply
# 2) Khóa user client (storage, client.admin) — "staged": khóa cũ và mới cùng hợp lệ cho tới khi xác nhận
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-all-storage-keys --rotate-admin-key
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-all-storage-keys --rotate-admin-key --apply
# 3) Làm mới client (xem dưới), rồi chạy lại KHÔNG tham số: script in đúng lệnh xác nhận cuối
# (gồm --apply --confirm-all-clients-refreshed --restrict-ciphers) — chạy đúng lệnh được in, đừng tự gõ
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys
pveceph auth status # cipher hiện tại / đang chờ (ceph auth ls không hiện khóa pending)
Làm mới client = đúng việc rolling update làm: live-migrate VM sang node khác hoặc dừng/khởi động VM (docs: reboot trong guest không đủ); dừng/khởi động container và các client RBD khác; để backup/restore/clone đang chạy xong trước. Vì vậy nên đặt bước 2 → rolling update (mục 5) → bước 3.
| Health check | Ý nghĩa / việc cần làm |
|---|---|
AUTH_INSECURE_SERVICE_KEY_TYPE, AUTH_INSECURE_SERVICE_TICKETS | Khóa/ticket dịch vụ còn cipher cũ → bước 1 (mức lỗi, gây HEALTH_ERR) |
AUTH_INSECURE_CLIENT_KEY_TYPE | Khóa user client còn cipher cũ → bước 2 và xác nhận |
AUTH_INSECURE_KEYS_ALLOWED, AUTH_INSECURE_KEYS_CREATABLE | MON còn chấp nhận/tạo khóa cũ → hết sau khi --restrict-ciphers |
--force để vượt chướng ngại (client còn khóa cũ sẽ lỗi khi kết nối lại, có khi sau vài phút hoặc vài ngày); không rotate khóa lockbox bằng ceph auth thuần; giữ /etc/pve/priv/cephx-key-migration.json (chứa khóa cũ, bảo vệ như bí mật) đến khi mọi client đã làm mới; rotate client.admin sau cùng. Có thể tạm tắt cảnh báo bằng ceph health mute <CHECK> 2w nhưng đó không phải khắc phục.
pveceph auth status và ceph health detail: nếu không có AUTH_INSECURE_* thì chưa phải làm gì thêm. Lab chưa kiểm thực tế cách pveceph init của 20.2.4 sinh khóa — cần kiểm lại trên máy thật.
8.6 Tắt/khởi động cả cluster Ceph (hiếm gặp)
Khác với rolling: dừng hết client, ceph osd set noout, tắt node không có MON trước rồi node có MON; khi bật lên bật node MON trước, chờ chỉ còn cảnh báo noout, ceph osd unset noout rồi mới bật guest (pve-docs, chương Ceph, phần về tắt cả cluster và cờ noout). Dùng cho tình huống mất điện kế hoạch — bài 10 có quy trình UPS.
Nâng cấp lớn PVE 8 → 9 (tóm tắt)
Chỉ dành cho hệ thống còn PVE 8; lab này đã ở 9.2. Đọc nguyên văn wiki "Upgrade from 8 to 9" trước khi làm; dưới đây là khung để lập kế hoạch.
| Bước | Nội dung chính (theo wiki) |
|---|---|
| Điều kiện | Mọi node ở PVE 8.4.1+; cluster khỏe; backup đã thử restore; ≥ 5 GB trống trên / (khuyến nghị 10 GB); có console; chạy từ SSH/console, không từ shell web. Ceph phải là Squid 19.2 trước (Quincy/Reef lên Squid trước bằng các wiki riêng) |
| Kiểm tra | pve8to9 và pve8to9 --full (chỉ báo cáo, không sửa gì); chạy lại sau mỗi lần xử lý và sau khi nâng |
| Từng node | Di dời guest khỏi node → apt update && apt dist-upgrade trên 8.4 → đổi repo bookworm → trixie (sed) → viết proxmox.sources (pve-no-subscription, suite trixie) và ceph.sources (ceph-squid, trixie) → apt update && apt dist-upgrade → reboot vào kernel 9 → kiểm tra → node kế |
| Sau khi xong cả cluster | HA groups tự chuyển thành HA rules (chỉ sau khi mọi node đã lên 9); xóa cache trình duyệt; tùy chọn apt modernize-sources; sau đó nâng Ceph Squid → Tentacle (mục 8) |
| Lưu ý đã biết | Chuyển guest chỉ chiều cũ → mới (mới → cũ thường không hỗ trợ) nên cửa sổ trộn phiên bản phải ngắn; /etc/sysctl.conf không còn được đọc (dùng /etc/sysctl.d/*.conf); tên NIC có thể đổi (dùng pve-network-interface-pinning trước khi nâng — bài 03 đã dùng nic0); cgroup v1 không còn hỗ trợ (container systemd ≤ 230 như CentOS 7/Ubuntu 16.04 không chạy); với root trên LVM + UEFI cài grub-efi-amd64; Veeam cần ghim machine version; PBS cài chung phải theo hướng dẫn PBS 3→4 |
| Rollback | Wiki không có quy trình rollback tại chỗ: đường lui là cài mới + restore từ PBS. Vì vậy chỉ nâng sau khi đã diễn tập trên staging |
Kernel pinning và rollback
Quản lý kernel bằng proxmox-boot-tool (pve-docs, chương Host Bootloader) · Reboot thử có đường lui (khuyến nghị cho kernel mới từ repo ít kiểm thử) · Bảng quyết định rollback
10.1 Quản lý kernel bằng proxmox-boot-tool (pve-docs, chương Host Bootloader)
proxmox-boot-tool status # cấu hình có đang dùng proxmox-boot-tool không (dấu hiệu bootloader)
proxmox-boot-tool kernel list # các kernel đang được chọn để boot
uname -r # kernel đang chạy
proxmox-boot-tool kernel pin 7.0.14-4-pve # ghim vĩnh viễn một phiên bản (ví dụ minh họa)
proxmox-boot-tool kernel pin 7.0.14-4-pve --next-boot # chỉ cho LẦN BOOT KẾ TIẾP
proxmox-boot-tool kernel unpin # bỏ ghim (unpin --next-boot: bỏ ghim next-boot)
proxmox-boot-tool refresh # cần sau khi tự thêm/bớt kernel hoặc đổi kernel cmdline
Mặc định bộ chọn giữ kernel đang chạy, kernel mới vừa cài và hai kernel mới nhất đã cài, cùng các kernel chọn tay (kernel add/kernel remove). Xem bootloader chắc chắn nhất: efibootmgr -v (báo "EFI variables are not supported" nghĩa là GRUB legacy/BIOS).
apt autoremove có thể gỡ kernel trước đó ngay sau khi bạn đã reboot vào kernel mới — mất đường lui. Trước khi autoremove, đánh dấu kernel cần giữ: apt-mark manual proxmox-kernel-<phiên-bản>-pve-signed (tên gói đúng xem bằng apt list --installed 'proxmox-kernel-*'), và chỉ dọn sau khi kernel mới đã chạy ổn qua một vòng cập nhật.
10.2 Reboot thử có đường lui (khuyến nghị cho kernel mới từ repo ít kiểm thử)
Cách này dùng cho node có BMC (IPMI/iDRAC) để power-cycle khi kernel mới không boot:
proxmox-boot-tool kernel pin "$(uname -r)" # 1) ghim kernel ĐANG chạy tốt làm mặc định
proxmox-boot-tool kernel pin <kernel-mới> --next-boot # 2) chỉ lần boot kế tiếp vào kernel mới
proxmox-boot-tool refresh
systemctl reboot
# Nếu kernel mới treo: power-cycle qua BMC -> tự về kernel đã ghim.
# Nếu ổn sau postcheck + vài giờ theo dõi:
proxmox-boot-tool kernel unpin # trở lại mặc định (kernel mới nhất)
Cần kiểm lại trên máy thật: hành vi --next-boot với từng bootloader (GRUB hay systemd-boot); diễn đàn có báo cáo pin "không có tác dụng" trên một số cấu hình GRUB + ZFS root, nên luôn xác nhận bằng uname -r sau reboot. Báo cáo cộng đồng (diễn đàn, 07/2026, PVE 9.2.4) về kernel mới không nạp được trên máy legacy BIOS có root LV rất lớn trong khi máy UEFI vẫn bình thường là ví dụ vì sao vòng 0 (staging/canary) phải có phần cứng giống production.
10.3 Bảng quyết định rollback
| Tình huống sau cập nhật | Hành động |
|---|---|
| Kernel mới không boot / treo | Console BMC → chọn kernel cũ ở menu GRUB (Advanced options) hoặc power-cycle khi đã pin (10.2); sau đó kernel pin <cũ> và báo lỗi cho vòng sau |
| Kernel mới chạy nhưng NIC/driver lỗi, mất mạng | Console → boot kernel cũ; kiểm tra tên NIC (ip -br link), pve-network-interface-pinning |
| Gói (QEMU, libc, ...) gây lỗi | grep -B1 -A4 "Start-Date: $(date +%F)" /var/log/apt/history.log lấy dòng Upgrade: pkg (cũ, mới); apt install pkg=<phiên-bản-cũ> nếu apt còn thấy bản đó (chỉ có trong cache /var/cache/apt/archives hoặc kho); apt-mark hold pkg để không bị nâng lại; gỡ hold khi có bản sửa |
| Ceph sau nâng release lỗi nặng | Không hạ cấp được; dừng các node chưa nâng ở trạng thái hiện tại, cô lập, khôi phục VM từ PBS nếu cần (bài 04, 11) |
| Node hỏng hẳn | Đưa guest sang node khác (HA tự làm), cài lại node bằng ISO, pvecm delnode + join lại với cùng tên/IP, tạo lại MON/MGR/OSD — xem bài 11 |
| Muốn tạm ngừng HA khi sửa mạng cluster | ha-manager crm-command disarm-ha freeze rồi arm-ha khi xong (mục 1.1; không dùng khi đang cập nhật gói) |
pveversion -v trước/sau mỗi vòng (mục 4.4). Có sẵn danh sách "cũ → mới" giúp rollback chính xác và giúp báo lỗi lên diễn đàn/bugzilla của Proxmox kèm bằng chứng.
Lịch, cửa sổ bảo trì và thông báo
| Loại | Tần suất | Cửa sổ | Ghi chú |
|---|---|---|---|
| Cập nhật thường kỳ PVE + Debian | Hằng tháng (vòng 0 → 1 → 2 theo mục 3.2) | Vòng 2: thứ Ba 19:00–21:30 | Kết thúc trước job backup 22:00 của bài 04 |
| Bản vá bảo mật khẩn (CVE bị khai thác) | Ngay khi có, theo "vá khẩn" ở mục 3.2 | Ngoài lịch, có phê duyệt | Rút ngắn soak, không bỏ preflight/backup |
| Bản vá Ceph | Khi upstream/Proxmox ra bản mới có CVE | Như cập nhật thường kỳ | Đọc ghi chú phát hành và mục 8.5 |
| Nâng phiên bản lớn (PVE major, Ceph release) | 1–2 lần/năm, lập dự án riêng | Cuối tuần, 1 ngày làm việc dự phòng | Diễn tập staging trước |
Quản lý thay đổi: mỗi lần chạy vòng 2 cần một ticket thay đổi (phạm vi, thời gian, người thực hiện, người phê duyệt, kế hoạch rollback ở mục 10, tiêu chí dừng). Tránh cửa sổ chốt sổ cuối tháng/quý, ngày có đợt backup hoặc migration lớn, và lúc Ceph đang recovery/backfill; nếu có đóng băng thay đổi (change freeze) thì chỉ vá khẩn mới được ngoại lệ.
Không để node PVE tự cài/tự reboot: nếu bài 05 bật unattended-upgrades thì chỉ cho nguồn Debian-Security, tắt Automatic-Reboot và loại trừ các gói Proxmox/Ceph/corosync/QEMU/kernel khỏi cập nhật tự động (cần kiểm lại cấu hình trên máy thật). Việc cập nhật gói Proxmox luôn đi qua quy trình ở bài này.
Tránh chồng lịch của lab: backup 22:00 (PBS), sync Primary → DR 00:30–01:00, prune 03:00, GC chủ nhật 05:00, verify thứ Bảy 08:00 (bài 04). Bài này không thêm job định kỳ nào; nếu bạn tự thêm (ví dụ chạy --tags preflight hằng ngày từ ops01 để phát hiện lệch cấu hình), đặt ở 05:15 để không chồng các mốc trên.
Thông báo — PVE tự kiểm tra gói mới mỗi ngày và gửi mail cho root@pam; sự kiện package-updates cũng có thể định tuyến qua hệ thống Notifications (matcher/target, chi tiết ở bài 10). Thông báo con người cho cửa sổ bảo trì (dùng Mattermost bài 37 hoặc Gotify bài 15 — làm sau; tạm thời dùng email/SMTP ngoài):
notify() { # $1 = nội dung; đặt MATTERMOST_WEBHOOK_URL trong môi trường, KHÔNG ghi vào script/tài liệu
curl -fsS -X POST -H 'Content-Type: application/json' \
-d "$(jq -n --arg t "$1" '{text:$t}')" "${MATTERMOST_WEBHOOK_URL:?chưa đặt}"
}
notify "[PVE] Bảo trì HOATRANHUB thứ Ba 19:00–21:30: cập nhật cuốn chiếu từng node, guest HA sẽ live-migrate (gián đoạn mạng < 1 giây)."
Mẫu thông điệp: T−3 ngày (kế hoạch, phạm vi, người liên hệ), T−1 giờ (nhắc, preflight đã xanh), Bắt đầu (node đầu tiên), Từng node xong (phiên bản mới, Ceph ổn), Kết thúc (kết quả, sự cố nếu có), Sự cố (dừng lại, đang rollback, ETA).
Thứ tự cập nhật các thành phần liên quan
- PBS-DR (
pbsdr01) → PBS Primary (pbs01) → PDM (pdm01) → PVE, theo mục 11.4 của bài 04. Không cập nhật khi đang Backup/GC/Sync; kiểm traproxmox-backup-manager task listsau khi nâng. - PBS/PDM không nằm trong job vzdump của chính nó — sao lưu cấu hình trước (
tar czf /root/pbs-config-$(date +%F).tgz /etc/proxmox-backup, bài 04 mục 11.3). - Cập nhật PBS/PDM:
apt update && apt full-upgrade(repopbs-no-subscription/pdm-no-subscriptionđã cấu hình ở bài 04); sau đóproxmox-backup-manager versions. - Sau khi nâng PVE, kiểm tra storage
pbs-primaryvẫnactive(pvesm status) và chạy một backup thử; nếu fingerprint PBS đổi (đổi chứng chỉ) thì cập nhật lại ở PVE/Remote/PDM. - PDM: sau khi các remote đã cập nhật, kiểm tra panel tổng quan cập nhật (Remotes → Updates, PDM ≥ 1.0 — cần kiểm lại trên máy thật) để xác nhận không còn node lệch phiên bản.
- Guest OS (Ubuntu 24.04 và các VM khác) cập nhật riêng theo từng bài/template (bài 07), không gộp vào cửa sổ cập nhật host.
Troubleshooting
| Triệu chứng | Nguyên nhân | Cách xử lý |
|---|---|---|
node-maintenance enable không có tác dụng, LRM không vào maintenance | Chưa có HA resource nào trên node; CRM master chưa nhận lệnh; có báo cáo diễn đàn trên 9.1.4/9.2.18 chưa có kết luận | ha-manager status; journalctl -u pve-ha-crm -u pve-ha-lrm -e trên master; dùng cách dự phòng: ha-manager crm-command migrate vm:<id> <node> từng dịch vụ, hoặc qm migrate. Báo lỗi lên Proxmox kèm pveversion -v |
| Maintenance bật nhưng một số guest HA vẫn đứng yên | Rule node-affinity strict không còn node hợp lệ; dịch vụ ở trạng thái stopped; hết max_relocate/node đích thiếu tài nguyên | Xem rule bằng ha-manager rules list; tạm sửa rule (--strict 0); dịch vụ stopped không cần chuyển; xem ha-manager status |
qm migrate lỗi với VM cụ thể | ISO local gắn vào CD-ROM; hostpci/USB passthrough; đĩa trên storage local; CPU host khác flag giữa node; VM bật VNC clipboard với QEMU < 10.1 | Gỡ ISO (qm set <id> --ide2 none,media=cdrom); dùng migrate offline cho VM passthrough; kiểm qm config <id>; đồng nhất CPU type |
apt full-upgrade treo ở trigger của pve-ha-manager | HA đang bị disarm trong lúc còn migration (known issue 9.2) | Giữ HA armed khi cập nhật gói; ha-manager crm-command arm-ha thì apt tự chạy tiếp |
apt update lỗi 401 từ enterprise.proxmox.com | Còn file nguồn enterprise (PVE hoặc Ceph) | Mục 3.1: vô hiệu hóa file enterprise, giữ proxmox.sources và ceph.sources no-subscription |
apt đòi gỡ proxmox-ve hoặc báo "attempting to remove the meta-package" | Thiếu repo cho suite hiện tại / lẫn bookworm với trixie | Sửa repo (mục 3.1), apt -f install; không xác nhận gỡ |
| Sau reboot node không về quorum | Mạng corosync (VLAN/MTU/tên NIC đổi theo kernel mới), thời gian lệch | Console BMC: ip -br link, journalctl -u corosync -b, chronyc tracking; boot kernel cũ (mục 10) |
| Sau khi node lên, VM không được trả về | Quên node-maintenance disable (trạng thái này không tự xóa khi reboot) | ha-manager crm-command node-maintenance disable <node>; kiểm ha-manager status |
Ceph HEALTH_WARN kéo dài sau cập nhật | Còn cờ noout/norebalance; OSD chưa lên; PG đang peering/backfill | ceph health detail, ceph osd dump | grep flags; ceph osd unset noout; systemctl status ceph-osd@<id>; chờ active+clean |
HEALTH_ERR với AUTH_INSECURE_* sau nâng 20.2.4+ | Cipher khóa cephx cũ | Mục 8.5; không --force; có thể ceph health mute … 2w tạm thời |
| Giao diện web trắng/lỗi sau cập nhật | Cache trình duyệt; hook "no-nag" bài 02 sửa proxmoxlib.js lệch phiên bản | Ctrl+F5; gỡ hook (mục 3.1) và apt reinstall proxmox-widget-toolkit; systemctl restart pveproxy |
| VM vẫn chạy QEMU cũ sau khi cập nhật | Tiến trình QEMU không đổi cho tới khi dừng/khởi động hoặc live-migrate | Migrate sang node đã cập nhật hoặc dừng/khởi động (không chỉ reboot trong guest); kiểm bằng pveversion -v | grep pve-qemu-kvm và qm status <id> --verbose (trường phiên bản đang chạy, cần kiểm lại trên máy thật) |
Hết dung lượng / hoặc /boot khi cập nhật | Nhiều kernel cũ, cache apt | apt clean; dọn kernel cũ sau khi đã giữ lại một kernel dự phòng (mục 10.1) |
| Playbook dừng giữa chừng | any_errors_fatal sau lỗi drain/postcheck/ceph-wait | Node đang ở maintenance và cờ Ceph còn: sửa lỗi, pve-rolling.sh undrain, chạy lại cho node còn lại, cuối cùng flags-unset |
Checklist nghiệm thu
- Mỗi node chỉ có nguồn
pve-no-subscriptionvà (nếu có Ceph)ceph-tentacleno-subscription; không còn enterprise, khôngpve-test(apt-get indextargets) - Đã gỡ hook
no-nag-scriptở bài 02 (nếu từng cài) và giao diện web không lỗi sau cập nhật - Có staging (cluster ảo 3 node hoặc node canary) và đã chạy trọn quy trình ở đó trước production
-
pve-rolling.shđã cài trên các node,preflightxanh trên cluster khỏe - Biết số phiếu/quorum của cluster; cân nhắc QDevice cho cluster số node chẵn
- Backup PBS ≤ 36 giờ và đã verify; VM nền tảng (247, 242, 234, 250, 246) có bản backup trước cửa sổ bảo trì
- Đã sao lưu cấu hình
/etc/pve,/etc/network,/etc/aptvà lưupveversion -vtrước khi cập nhật - Có đường vào console BMC cho mọi node vật lý
- Cờ Ceph
noout+norebalanceđặt trước và đã gỡ sau (kiểmceph osd dump | grep flags) - Mỗi node: HA maintenance bật → guest rời node (HA và không-HA) → cập nhật → reboot → postcheck → maintenance tắt
- Sau mỗi node:
pvecm statusđủ phiếu,ceph -sPGactive+clean,systemctl --failedrỗng - Không bao giờ cập nhật 2 node cùng lúc trong một cluster
- Mọi node cuối cùng cùng
pve-managervà cùng kernel; không còn node ở maintenance mode -
ceph versionschỉ còn một phiên bản; (nâng release)require_osd_release= đúng release mới - Nếu có cảnh báo
AUTH_INSECURE_*: đã làm theo quy trình di chuyển khóa cephx; kernel ≥ 7.0 trên node có container RBD/CephFS kernel mount - Giữ lại ít nhất một kernel cũ; đã thử
proxmox-boot-tool kernel pin/unpintrên node canary - Đã thử rollback gói (apt history +
apt install pkg=ver) trên staging - Thông báo trước/sau bảo trì đã gửi; biên bản ghi phiên bản cũ → mới
- Đã nhẩm lại thời gian thực tế mỗi node để cập nhật cửa sổ bảo trì
- Thứ tự PBS-DR → PBS → PDM → PVE được tuân thủ;
pbs-primarycònactivesau khi nâng; backup thử thành công - Với > ~30 node: đã chia cluster, có sóng canary → 10% → 50% → 100%
Tài liệu tham khảo
Proxmox VE (chính thức)
- HA Manager (maintenance mode, shutdown policy, CRS, package updates): https://pve.proxmox.com/pve-docs/chapter-ha-manager.html
-
ha-managerman page (crm-command: node-maintenance, disarm-ha, arm-ha, migrate): https://pve.proxmox.com/pve-docs/ha-manager.1.html - Host system administration (repo, cập nhật, kernel): https://pve.proxmox.com/pve-docs/chapter-sysadmin.html
- Cluster Manager (quorum, QDevice, giới hạn node): https://pve.proxmox.com/pve-docs/chapter-pvecm.html
- Ceph trên PVE (
pveceph, di chuyển khóa cephx, shutdown cluster): https://pve.proxmox.com/pve-docs/chapter-pveceph.html -
pveceph: https://pve.proxmox.com/pve-docs/pveceph.1.html ·pvenode: https://pve.proxmox.com/pve-docs/pvenode.1.html - Wiki Ceph Squid → Tentacle: https://pve.proxmox.com/wiki/Ceph_Squid_to_Tentacle
- Wiki Upgrade from 8 to 9: https://pve.proxmox.com/wiki/Upgrade_from_8_to_9
- Roadmap / ghi chú phát hành và known issues: https://pve.proxmox.com/wiki/Roadmap
- Package Repositories: https://pve.proxmox.com/wiki/Package_Repositories
Proxmox forum / thông báo
- Staff: cephx key migration và Squid EOL (2026-09-09): https://forum.proxmox.com/threads/cephx-key-migration-procedure-and-ceph-19-2-squid-going-eol-soon.186276/
- Staff: cluster ~24 node, khuyên tách cluster và dùng Datacenter Manager (thread "Proxmox with 48 nodes", 2025-10-29): https://forum.proxmox.com/goto/post?id=812204
- Thứ tự phát hành test → no-subscription → enterprise: https://forum.proxmox.com/threads/137385/
- Báo cáo
node-maintenancekhông hiệu lực trên PVE 9: https://forum.proxmox.com/threads/cluster-node-does-not-go-into-maintenance-mode.178968/ - Báo cáo kernel mới không boot trên legacy BIOS (cộng đồng): https://forum.proxmox.com/goto/post?id=861359
Ceph
- Health checks (OSDMAP_FLAGS, OSD_FLAGS,
ceph osd set-group): https://docs.ceph.com/en/tentacle/rados/operations/health-checks/ - Cấu hình MON–OSD (
mon_osd_down_out_interval): https://docs.ceph.com/en/latest/rados/configuration/mon-osd-interaction/ - Ghi chú phát hành Tentacle (v20.2.4, CVE): https://docs.ceph.com/en/latest/releases/tentacle/
PBS / PDM
- Datacenter Manager docs: https://pdm.proxmox.com/docs/ · roadmap: https://pdm.proxmox.com/docs/roadmap.html
- Bài 04 của series (thứ tự nâng cấp PBS → PDM → PVE, sao lưu cấu hình)
Công cụ
- Ansible
serial/reboot: https://docs.ansible.com/ansible/latest/playbook_guide/playbooks_strategies.html · https://docs.ansible.com/ansible/latest/collections/ansible/builtin/reboot_module.html - Gói
ansibleUbuntu 24.04: https://packages.ubuntu.com/noble/ansible - aptly (mirror/snapshot, tùy chọn): https://www.aptly.info/