System & Network Rolling Update + Ceph
Bài 06 · Giai đoạn 1 — Vận hành & Bảo mật Proxmox

Cập nhật cuốn chiếu HA + Ceph Upgrade

Rolling update cluster có HA bằng maintenance mode, nâng cấp Ceph không downtime, checklist trước/sau.

Giai đoạn: Vận hành & Bảo mật Proxmox

Bối cảnh & Lý do triển khai

Vị trí trong chuỗi bài: Bài 06 thuộc Giai đoạn 1 — Vận hành & Bảo mật Proxmox, nối tiếp Bài 05. Firewall & Hardening và đứng trước Bài 07. Template + Cloud-Init.
Mức độ cần thiết: 🔴 Bắt buộc — Vá lỗi đều đặn mà không làm gián đoạn dịch vụ; với repo no-subscription, chính bạn là khâu kiểm thử cuối cùng

Proxmox VE là bản phân phối rolling release đặt trên Debian: kernel, QEMU, OpenSSL, Corosync và Ceph liên tục có bản vá bảo mật. Không vá thì tồn đọng lỗ hổng; vá bừa tay (chạy apt upgrade đồng loạt trên mọi node rồi reboot cả cụm) thì mất quorum, HA fence hàng loạt và Ceph rebalance không cần thiết. Bài này dựng quy trình cuốn chiếu (rolling update): mỗi lần đúng một node — bật maintenance mode của HA, di dời guest, cập nhật, reboot, kiểm tra, trả guest về, chờ Ceph ổn định rồi mới sang node kế tiếp — chạy lần lượt qua các vòng staging → production.

Bài cũng gom các việc đi kèm: nâng cấp Ceph (Squid → Tentacle, cập nhật bản vá và di chuyển khóa cephx), tóm tắt nâng cấp lớn PVE 8 → 9, kernel pinning để quay lui, snapshot/PBS trước khi cập nhật, script kiểm tra và playbook Ansible (miễn phí) chạy cho nhiều node.

Vì sao cần quy trình riêng khi không có subscription: repo pve-no-subscription được tài liệu Proxmox mô tả là dùng cho thử nghiệm và non-production; gói đi qua pve-test → pve-no-subscription → enterprise, giữa các bước có khoảng trễ (không công bố cố định). Bạn vẫn nhận đúng các gói đó, chỉ sớm hơn và ít vòng kiểm thử hơn. Bài này bù bằng staging, backup PBS và kế hoạch rollback. Popup "No valid subscription" chỉ là thông báo, không làm mất chức năng.
MụcNội dung
Ứng dụng trong DNVá lỗi bảo mật (kernel, QEMU, Ceph, Debian) cho 1 đến hàng trăm node theo vòng staging → production; chuẩn bị nâng cấp phiên bản lớn (PVE 8 → 9, Ceph Squid → Tentacle)
Tác dụng chínhRolling update từng node với HA maintenance mode, cờ Ceph noout/norebalance, kiểm tra quorum và Ceph trước/sau; script pve-rolling.sh và playbook Ansible; kernel pin; quy trình rollback; lịch và thông báo
Nếu không triển khaiTồn đọng CVE; vá đồng loạt gây mất quorum/fence hàng loạt; lỗi từ gói mới (repo ít kiểm thử) lọt thẳng vào production vì chưa qua staging; không có đường lui khi kernel mới không boot
Các service phụ thuộc vào đâyToàn bộ VM và dịch vụ chạy trên cluster HOATRANHUB (bài 12–40); bài 10 (thông báo package-updates), bài 11 (runbook sự cố dùng lại kỹ thuật drain/cờ Ceph), bài 05 (rule firewall cho SSH của Ansible)

Ngày cập nhật: 2026-10-15
Môi trường: HOATRANLABS – PVE 9.2.20, Ceph Tentacle 20.2.4

Danh sách máy chủ & IP liên quan

Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.

Máy chủIPVLAN · NodeVai trò trong bài này
ops01 (Ansible/OpenTofu + bastion) · VM29010.11.45.2045 (MGMT) · node2Máy điều khiển của bài — chạy Ansible và pve-rolling.sh theo từng vòng; là VM trên node2 nên bị live-migrate khi node2 được drain (tạo ở bài 07).
node4 (Proxmox VE)10.11.45.21345 (MGMT) · cluster HOATRANHUBProduction HOATRANHUB, cập nhật đầu tiên; chứa pbs01 và pdm01 nên tránh drain trùng giờ backup 22:00 và sync DR.
node3 (Proxmox VE)10.11.45.21245 (MGMT) · cluster HOATRANHUBProduction HOATRANHUB, cập nhật thứ hai; là node đích mặc định khi drain node4 (Ansible chọn node kế tiếp trong danh sách).
node2 (Proxmox VE)10.11.45.21145 (MGMT) · cluster HOATRANHUBProduction HOATRANHUB, cập nhật thứ ba; trong ví dụ là CRM master của HA và chứa VM ops01 chạy playbook.
node1 (Proxmox VE)10.11.45.21045 (MGMT) · cluster HOATRANHUBProduction HOATRANHUB, cập nhật cuối vì giữ MON leader và NUT master (bài 10); sau node này mới gỡ cờ Ceph noout/norebalance.
node5 (Proxmox VE standalone)10.100.100.20Site phụ 10.100.100.0/24 · standaloneVòng 1: PVE standalone site phụ, cập nhật 3 ngày sau canary; không có HA nên guest ngừng trong lúc reboot.
node6 (Proxmox VE standalone)10.100.100.21Site phụ 10.100.100.0/24 · standaloneVòng 0: node canary standalone, thử gói PVE, kernel và tên NIC trước production; không thử được Ceph/HA nhiều node.
pbs01 (PBS Primary) · VM10110.11.45.1745 (MGMT) · node4Đích backup trước cập nhật (storage pbs-primary); VM101 live-migrate khi node4 drain; nâng cấp sau pbsdr01 (bài 04).
pdm01 (Proxmox Datacenter Manager) · VM10210.11.45.1845 (MGMT) · node4PDM xem tổng quan gói cập nhật của các remote (Remotes → Updates); VM102 trên node4; nâng cấp trước PVE (bài 04).
pbsdr01 (PBS DR)10.100.100.6Site phụ 10.100.100.0/24 · site phụPBS DR: nâng cấp đầu tiên trong thứ tự PBS-DR → PBS Primary → PDM → PVE (bài 04, mục 11.4).
syno-primary (Synology NAS)10.11.45.1645 (MGMT) · NASNAS chứa datastore syno-primary: nơi có bản backup phải còn mới (≤ 36 giờ) và đã verify trước mỗi vòng cập nhật (bài 04).

Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Máy QDevice (nếu thêm cho cluster 4 node) phải nằm ngoài cluster và chưa thuộc quy hoạch lab; VM staging nested (cluster STAGING) có tên/IP riêng ghi vào NetBox (bài 23) nên không liệt kê ở đây.

01

Tổng quan

Cơ chế HA maintenance mode (đã xác minh trên pve-docs) · Cách Ceph phản ứng khi một node reboot · Công cụ & chi phí

Nguyên tắc của cả bài gói trong bốn câu: (1) trong một cluster chỉ đụng một node mỗi lần; (2) node nào cũng phải "rỗng" (guest đã chuyển đi) trước khi reboot; (3) Ceph phải sạch trước khi sang node kế; (4) thử trên staging trước, production sau, và luôn có đường lui (backup PBS, kernel cũ, cách dựng lại node).

Vòng lặp cho mỗi node:

preflight ──► (một lần) đặt cờ Ceph noout + norebalance
     │
     ▼
 HA maintenance ON ──► chờ HA chuyển guest ──► chuyển nốt guest không-HA
     │
     ▼
 apt update ──► apt full-upgrade ──► reboot (nếu kernel/QEMU/lib đổi)
     │
     ▼
 postcheck (quorum đủ phiếu, dịch vụ PVE, OSD up) ──► HA maintenance OFF ──► guest trở về
     │
     ▼
 chờ Ceph active+clean (chỉ còn cờ do ta đặt) ──► node kế tiếp ──► … ──► gỡ cờ Ceph

Vòng cập nhật theo môi trường (lab HOATRANLABS):

repo Proxmox/Debian
        │
        ▼
 Vòng 0  staging: cluster PVE ảo 3 node (nested) + node6 (canary)   ── thứ Hai, soak ≥ 5 ngày làm việc
        ▼
 Vòng 1  node5 (standalone, site phụ)                                ── +3 ngày
        ▼
 Vòng 2  production HOATRANHUB: node4 → node3 → node2 → node1        ── thứ Ba 19:00–21:30 tuần sau
Thông sốGiá trị
Phiên bản PVE9.2.20 (Debian 13)
CephTentacle 20.2.4-pve4
Repopve-no-subscription
Quy mô áp dụng1 → hàng trăm node
Công cụ chínhha-manager, Ansible
Thời gian mỗi node~20–40 phút
Cửa sổ bảo trìThứ Ba 19:00–21:30
Điều kiện tiên quyếtBài 03, bài 04

Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15):

Thành phầnPhiên bảnGhi chú
Proxmox VE9.2.20 (nhánh 9.2, phát hành 2026-05-21)Debian 13 "trixie"; kernel 7.0 là mặc định từ PVE 9.2 (roadmap). Kernel đang chạy trên từng node: uname -r
CephTentacle 20.2.4-pve4 (upstream 20.2.4, 2026-08-19)PVE 9.2 đặt Tentacle là mặc định cho cài mới. Squid 19.2 đã/sắp hết hạn hỗ trợ: pve-docs ghi EOL 2026-09 (đã qua), staff forum ước tính upstream EOL 2026-10-31 — nâng sớm (mục 8)
Proxmox Backup Server4.2Bài 04; thứ tự cập nhật ở mục 12
Proxmox Datacenter Manager1.1 (docs 1.1.7, 2026-07-15)Bài 04; từ PDM 1.0 có panel tổng quan gói cập nhật của mọi remote (cần kiểm lại trên máy thật)
Ansiblegói ansible 9.2.0 của Ubuntu 24.04 (ansible-core ≥ 2.16.3)Cài trên ops01 (bài 07) hoặc máy quản trị bất kỳ
jq, tmuxgói Debian/Ubuntujq cần cho pve-rolling.sh; tmux giữ phiên khi mất SSH
Công cụ PVEha-manager, pvecm, pvenode, pvesh, pveceph, proxmox-boot-toolCó sẵn trên PVE 9

1.1 Cơ chế HA maintenance mode (đã xác minh trên pve-docs)

  • Lệnh: ha-manager crm-command node-maintenance enable <node> và ... disable <node>. Lệnh chỉ xếp hàng yêu cầu cho CRM nên chạy từ node nào cũng được.
  • Node chuyển LRM sang trạng thái "không sẵn sàng cho HA" nhưng vẫn xử lý lệnh migrate; watchdog vẫn bật cho tới khi mọi dịch vụ đã chuyển đi. Node đích chọn theo HA rules và chế độ CRS (Datacenter → Options → Cluster Resource Scheduling).
  • Node gốc được ghi vào trạng thái của HA manager: khi disable, các dịch vụ đã ở trên node lúc bật maintenance được chuyển về.
  • Chỉ áp dụng cho guest nằm trong HA. Guest không-HA phải tự di chuyển (mục 5.3). Docs hiện chỉ mô tả CLI; một số bản có thể có nút trong Datacenter → HA — cần kiểm lại trên máy thật.
  • Maintenance mode không tự xóa khi reboot: sau khi node lên lại phải disable thủ công.
  • Chính sách tắt máy (Datacenter → Options → HA Settings, datacenter.cfg: ha: shutdown_policy=<giá trị>): conditional (mặc định) — shutdown thì dừng guest để node khác nhận lại, reboot thì "đóng băng" guest rồi khởi động lại trên cùng node sau reboot (có downtime bằng thời gian reboot); migrate — LRM tự chuyển guest đi trước khi tắt/reboot; failover, freeze theo docs. Vì vậy quy trình dùng maintenance mode thay vì reboot thẳng.
Giao diện Proxmox: Datacenter → Options → HA Settings (Shutdown Policy: conditional hoặc migrate) và Cluster Resource Scheduling — cho thấy chính sách tắt máy của HA trước khi đưa node vào bảo trì.
Giao diện Proxmox: Datacenter → Options → HA Settings (Shutdown Policy: conditional hoặc migrate) và Cluster Resource Scheduling — cho thấy chính sách tắt máy của HA trước khi đưa node vào bảo trì.
Mẹo: đặt shutdown_policy=migrate giúp mọi lần reboot "vô tình" của quản trị viên cũng chuyển guest đi trước (docs: migrate có thể phù hợp hơn mặc định). Lưu ý: rule node-affinity strict có thể làm việc tắt máy chờ mãi vì không có node hợp lệ để chuyển tới.
HA disarm (PVE 9.2) không dùng khi đang cập nhật gói: ha-manager crm-command disarm-ha freeze|ignore / arm-ha dành cho bảo trì mạng cluster (đổi switch, VLAN, corosync) mà không bị fence. Known issue ở roadmap 9.2: nếu cluster đang disarm trong lúc còn migration, việc nâng cấp pve-ha-manager (từ bản trước 5.2.4) có thể treo ở package trigger — giữ HA ở trạng thái armed khi apt full-upgrade, hoặc arm-ha để quá trình chạy tiếp.

1.2 Cách Ceph phản ứng khi một node reboot

  • OSD của node tắt → PG sang trạng thái degraded; với size 3 / min_size 2 (pool vm-ceph, bài 03) I/O vẫn tiếp tục khi mất 1 node.
  • Sau mon_osd_down_out_interval (mặc định 600 giây) Ceph đánh dấu OSD out và bắt đầu tái cân bằng dữ liệu. Một lần reboot server (POST của BIOS + apt) rất dễ vượt 10 phút, nên đặt noout để OSD down nhưng không bị out.
  • norebalance tạm dừng việc di chuyển PG chỉ để cân bằng lại. Hai cờ này hiển thị là HEALTH_WARN (check OSDMAP_FLAGS) — bình thường trong cửa sổ bảo trì, phải gỡ khi xong.
  • Trong lúc có noout, nếu một ổ đĩa hỏng thật thì Ceph không tự sao chép lại. Giữ cửa sổ ngắn và gỡ cờ ngay khi xong.
Với 4 node (cả corosync lẫn MON), mất 1 node là hết dung sai lỗi: pvecm có 4 phiếu, quorum 3 → khi một node bảo trì, cluster còn đúng 3 phiếu; thêm một node nữa lỗi là mất quorum (HA fence, /etc/pve chỉ đọc). Ceph tương tự: bài 03 tạo 4 MON (quorum 3/4). Hai cách giảm rủi ro: thêm QDevice (pve-docs hỗ trợ QDevice cho cluster có số node chẵn — khuyến nghị cho 2 node — và ghi rõ với số node chẵn "không có tác động tiêu cực"; đặt ngoài cluster, mục 2) và/hoặc giữ 3 MON như khuyến nghị cuối mục 5.5 bài 03.

1.3 Công cụ & chi phí

ViệcCông cụ miễn phí dùng trong bàiKhi nào phải trả phí
Cập nhật, HA, Cephapt, ha-manager, ceph, pveceph (có sẵn)Cần repo enterprise (đã kiểm thử kỹ hơn) hoặc hỗ trợ chính hãng/SLA → mua subscription theo CPU socket tại proxmox.com
Tự động hóaAnsible (GPL), Bash, jq, tmuxKhông cần ở quy mô lab. Giao diện web cho Ansible: AWX (miễn phí nhưng nặng, chạy trên Kubernetes) hoặc Ansible Automation Platform (trả phí) — chỉ khi có nhiều đội vận hành
Theo dõi trạng thái cập nhật nhiều remotePDM (bài 04)Quản lý khóa subscription tập trung của PDM chỉ có ý nghĩa khi có subscription
Mirror đóng băng bản đã thử (tùy chọn)aptly hoặc apt-mirrorKhông
Cổng thông báoMattermost/Gotify/Mailu (bài 37/15/16) hoặc SMTP ngoàiKhông
02

Quy mô triển khai: từ 1 node đến hàng trăm node

Quy môChiến lược cập nhậtQuorum / Ceph cần lưu ýCông cụ
1 node standalone (node5, node6)Không có HA nên có downtime = thời gian reboot (vài phút). Chọn khung giờ thấp tải, backup PBS trước, chỉ reboot khi kernel/QEMU/lib đổi. Guest tự tắt/bật theo startup orderKhông có quorum. Nếu có node thứ hai ở cluster khác, PDM/qm remote-migrate giúp chuyển tạm (tính năng cross-cluster, cần kiểm lại trên máy thật)apt, pve-rolling.sh preflight/postcheck, PBS
2–3 node (+QDevice)Maintenance mode hoạt động như cluster lớn; 2 node phải có QDevice để còn quorum khi 1 node tắt2 node + QDevice = 3 phiếu, tắt 1 node còn 2 phiếu = quorum nhưng không dung sai thêm. Ceph 3 node size 3: tắt 1 node → còn 2 bản, thêm 1 lỗi nữa là dừng I/Oha-manager, QDevice, pve-rolling.sh
Cluster 4–~30 node (HOATRANHUB là ví dụ)Một node/lần (serial: 1), staging → production, cửa sổ bảo trì cố định. Thời gian tăng tuyến tính theo số nodeNên có số node lẻ hoặc QDevice. Failure domain Ceph là host và size 3 thì không bao giờ tắt 2 host cùng lúcAnsible từ ops01, PDM xem tổng quan
> ~30 nodeChia nhiều cluster (mỗi cluster ≤ ~24–30 node), cập nhật theo sóng: cluster canary → 10% → 50% → 100%. Các cluster độc lập có thể chạy song song, trong mỗi cluster vẫn serial: 1Giảm bán kính ảnh hưởng của một lỗi gói; corosync ổn định hơnAnsible (mỗi cluster một tiến trình -l cluster_x), PDM (bài 04) để nhìn tổng quan, pipeline Gitea Actions (bài 22) tùy chọn, mirror đóng băng
Về giới hạn số node (nguồn chính thức): pve-docs ghi "không có giới hạn tường minh" về số node, "trong thực tế bị giới hạn bởi hiệu năng host và mạng", và có báo cáo cluster hơn 50 node chạy phần cứng enterprise (số liệu 2021). Staff Proxmox (forum, 2025-10-29) cho biết đã thấy cluster khoảng 24 node chạy ổn khi tuân thủ best practice corosync và độ trễ thấp/ổn định, với cluster lớn hơn có thể cần tinh chỉnh, và hiện khuyên tách thành nhiều cluster nhỏ hơn, dùng Datacenter Manager để quản lý chung. Ngưỡng "~30 node" trong bài là khuyến nghị an toàn của tác giả, không phải giới hạn cứng. Độ trễ mạng cluster phải dưới 5 ms.

QDevice cho cluster 4 node (khuyến nghị của bài cho HOATRANHUB; pve-docs không khuyến khích QDevice với cluster số node lẻ):

# Máy QDevice phải NẰM NGOÀI cluster (Raspberry Pi, VM ở site phụ, NAS có container...) — không đặt trên chính HOATRANHUB
external# apt install corosync-qnetd
# Trên MỘT node của cluster, sau khi đã cài corosync-qdevice trên mọi node:
node1# apt install corosync-qdevice          # chạy trên node1..node4
node1# pvecm qdevice setup <IP_QDEVICE>      # SSH key của cluster tự được chép sang QDevice
node1# pvecm status                          # Expected votes 5, Total votes 5, Quorum 3

Kết quả: 5 phiếu, quorum 3 → khi 1 node bảo trì vẫn còn dung sai thêm 1 lỗi. Nếu QDevice chết thì quay về 4 phiếu như cũ (cluster chẵn: QDevice chỉ tăng độ sẵn sàng, theo docs).

03

Repo no-subscription và chiến lược vòng cập nhật

Chuẩn hóa nguồn APT · Các vòng cập nhật và cổng đi tiếp

3.1 Chuẩn hóa nguồn APT

Mục tiêu: trên mỗi node chỉ có một nguồn PVE (pve-no-subscription) và một nguồn Ceph (ceph-tentacle no-subscription), không có pve-enterprise (trả 401 khi không có subscription) và không có pve-test. Kiểm tra những nguồn apt thực sự đang bật:

apt-get indextargets --format '$(SITE) $(RELEASE) $(COMPONENT)' | sort -u
# (mẫu) deb.debian.org trixie main non-free-firmware … ; download.proxmox.com trixie pve-no-subscription ;
#       download.proxmox.com trixie no-subscription   ← Ceph Tentacle
Terminal node1: apt-get indextargets chỉ liệt kê deb.debian.org và download.proxmox.com (pve-no-subscription, ceph-tentacle no-subscription), không có enterprise; có thể kèm Node → Updates → Repositories trên giao diện.
Terminal node1: apt-get indextargets chỉ liệt kê deb.debian.org và download.proxmox.com (pve-no-subscription, ceph-tentacle no-subscription), không có enterprise; có thể kèm Node → Updates → Repositories trên giao diện.

Nếu còn file trùng (ví dụ pve-no-subscription.list ở bài 02 cùng proxmox.sources) hoặc còn enterprise, chuẩn hóa như sau (chạy trên từng node, đã sao lưu /etc/apt):

set -euo pipefail
d=/root/apt-backup-$(date +%F-%H%M%S); mkdir -p "$d"; cp -a /etc/apt/sources.list /etc/apt/sources.list.d "$d"/
for f in /etc/apt/sources.list.d/*; do
  [ -f "$f" ] || continue
  case "$f" in *.disabled|*/proxmox.sources|*/ceph.sources|*/debian.sources) continue ;; esac
  if grep -qE 'enterprise\.proxmox\.com|download\.proxmox\.com/debian/(pve|ceph)' "$f"; then mv -v "$f" "$f.disabled"; fi
done
cat > /etc/apt/sources.list.d/proxmox.sources <<'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pve
Suites: trixie
Components: pve-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
if [ -f /etc/pve/ceph.conf ]; then          # node có Ceph: một nguồn ceph-tentacle no-subscription
cat > /etc/apt/sources.list.d/ceph.sources <<'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/ceph-tentacle
Suites: trixie
Components: no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
elif [ -f /etc/apt/sources.list.d/ceph.sources ]; then   # node không có Ceph: tắt file enterprise mặc định
  mv -v /etc/apt/sources.list.d/ceph.sources /etc/apt/sources.list.d/ceph.sources.disabled
fi
apt-get update
apt-cache policy pve-manager ceph-common | grep -E 'Installed|Candidate|http'
Lưu ý: file *.disabled không được apt đọc (apt chỉ nhận đuôi .list/.sources). Vẫn cần repo Debian gốc (deb.debian.org, security.debian.org) — pve-docs nhấn mạnh phải có thêm kho Debian bên cạnh kho Proxmox. Đừng trộn kho bookworm vào node trixie (bài 02). Với cluster Ceph chưa lên Tentacle (đang Squid) thì chưa đổi ceph.sources — xem mục 8.
Hook "no-nag" ở bài 02: nếu bạn đã cài /etc/apt/apt.conf.d/no-nag-script (script sửa proxmoxlib.js sau mỗi lần cập nhật), nó can thiệp vào gói proxmox-widget-toolkit mỗi lần apt chạy và là nguyên nhân thường gặp của giao diện web lỗi sau cập nhật (mục 13). Khuyến nghị gỡ hook này: rm /etc/apt/apt.conf.d/no-nag-script && apt reinstall proxmox-widget-toolkit. Popup subscription chỉ là thông báo.

3.2 Các vòng cập nhật và cổng đi tiếp

VòngPhạm viKhi nàoĐiều kiện đi tiếp (go/no-go)
0 — stagingCluster PVE ảo 3 node (nested, có Ceph 1 OSD/node) + node6 làm canary cho PVEThứ Hai 09:00, ngay khi apt list --upgradable có gói mới đáng kểSang vòng 1 sau ≥ 3 ngày, sang vòng 2 sau ≥ 5 ngày làm việc, với điều kiện: reboot sạch, systemctl --failed rỗng, journal không có lỗi mới, migrate/backup/restore thử đều đạt, không có thread lỗi nghiêm trọng liên quan trên forum
1 — site phụnode5 (standalone)+3 ngày sau vòng 0Không phát sinh lỗi; VM pbsdr01/dịch vụ site phụ vẫn bình thường
2 — productionHOATRANHUB: node4 → node3 → node2 → node1Thứ Ba tuần sau 19:00–21:30 (kết thúc trước job backup 22:00)Mọi điều kiện trên + preflight xanh + backup PBS gần nhất ≤ 36 giờ và đã verify
Vá khẩn (CVE đang bị khai thác)Rút ngắn: vòng 0 (24 giờ) → vòng 2Ngoài lịch, có phê duyệtGiữ nguyên preflight/backup; ghi lý do rút ngắn
  • Staging ảo: dựng 3 VM PVE trên node5/node6 (bật nested virtualization, CPU host, 4 vCPU, 8 GB RAM, 2 đĩa; kiểm tra nested bằng cat /sys/module/kvm_intel/parameters/nested ra Y hoặc 1, CPU AMD dùng kvm_amd), tạo cluster tên STAGING và Ceph tương tự bài 03 (1 OSD mỗi VM). Quy hoạch tên/IP riêng, không trùng bảng CANON và ghi vào NetBox (bài 23). Staging không thay phần cứng thật nhưng bắt được lỗi gói, lỗi cấu hình và cho phép tập dượt quy trình. Chi tiết kernel/NIC phần cứng chỉ node6 kiểm được.
  • Soak: cho staging chạy workload thật (một VM backup, một VM migrate liên tục) trong thời gian chờ.
  • Ghi lại để so sánh: sau vòng 0, lưu pveversion -v > versions-ring0.txt; sau vòng 2 so sánh diff để biết production có nhận đúng bộ gói đã thử không.
  • Hạn chế của apt: index chỉ biết bản mới nhất; nếu vòng 2 chạy vài ngày sau vòng 0 mà repo đã ra bản mới hơn, production sẽ nhận bản mới hơn bản đã thử. Chấp nhận được với quy mô lab; với > 30 node nên dựng mirror đóng băng (aptly/apt-mirror): đồng bộ repo về nội bộ, thử trên staging rồi mới "publish" snapshot cho production (cần kiểm lại trên máy thật về khóa ký và kho Proxmox).
04

Chuẩn bị trước mỗi lần cập nhật

Điều kiện go/no-go · Cài công cụ trên node và máy điều khiển · Chạy preflight

4.1 Điều kiện go/no-go

Điều kiệnCách kiểm traNếu không đạt
Cluster có quorum, đủ phiếupvecm status → Quorate: Yes, Total votes = Expected votesKhông cập nhật; xử lý theo bài 11
Biên quorum ≥ 1 (sau khi tắt 1 node vẫn ≥ quorum)Total votes − 1 ≥ QuorumDừng; sửa node lỗi trước
Ceph HEALTH_OK, mọi PG active+cleanceph -s, ceph pg statChờ recovery xong, tìm nguyên nhân WARN
HA không có dịch vụ lỗi, không bị disarmha-manager statusXử lý dịch vụ error/fence; arm-ha nếu cần
Không có backup/migration đang chạyGUI Tasks; pvenode task list --source activeChờ hoặc dời giờ
Backup PBS mới nhất ≤ 36 giờ và đã verifypve-rolling.sh preflight hoặc PBS → Datastore → ContentChạy backup bổ sung (4.4)
Dư ≥ 5 GB trên / (khuyến nghị ≥ 10 GB)df -h /Dọn dung lượng
Có đường vào console (IPMI/iDRAC/KVM)Đăng nhập thử BMCKhông reboot khi chưa có
Đã thông báo và đang trong cửa sổ bảo trìMục 11Hoãn

4.2 Cài công cụ trên node và máy điều khiển

# Trên mọi node PVE
apt-get install -y jq tmux
install -m 0750 pve-rolling.sh /usr/local/sbin/pve-rolling.sh   # nội dung script ở mục 6

# Trên ops01 (bài 07) hoặc máy quản trị bất kỳ
sudo apt-get install -y ansible
ansible --version
Mẹo: luôn làm việc trong tmux new -s update (hoặc screen). Nâng cấp qua SSH hoặc console, không qua Shell trong giao diện web — phiên web đứt khi pveproxy khởi động lại (wiki Upgrade 8→9 cũng khuyến cáo như vậy).

4.3 Chạy preflight

pve-rolling.sh preflight

Kết quả mong đợi (mẫu):

2026-10-20 19:02:11 [node4] phiếu: tổng=4, quorum=3
2026-10-20 19:02:11 [node4] CẢNH BÁO: sau khi drain sẽ không còn dung sai lỗi (thêm QDevice nếu số node chẵn)
2026-10-20 19:02:12 [node4] Ceph: không có cảnh báo, 97 pgs: 97 active+clean
2026-10-20 19:02:13 [node4] backup: mọi guest đang chạy có bản ≤ 36 giờ
2026-10-20 19:02:13 [node4] PREFLIGHT ĐẠT
Terminal node4: pve-rolling.sh preflight báo phiếu 4/quorum 3, Ceph không cảnh báo và 97 PG active+clean, backup ≤ 36 giờ, cuối cùng dòng PREFLIGHT ĐẠT.
Terminal node4: pve-rolling.sh preflight báo phiếu 4/quorum 3, Ceph không cảnh báo và 97 PG active+clean, backup ≤ 36 giờ, cuối cùng dòng PREFLIGHT ĐẠT.

4.4 Backup trước khi cập nhật (PBS)

Job hằng đêm 22:00 (bài 04) là lớp bảo vệ chính. Trước cửa sổ bảo trì:

  1. PBS → Datastore syno-primary → Content: xác nhận có snapshot ≤ 36 giờ cho các VM trọng yếu và cột Verify State là OK.
  2. Chạy thêm backup cho VM nền tảng (Pi-hole 247, step-CA 242, Authentik 234, dc1 250, Mailu 246) ít nhất 1 giờ trước giờ cập nhật để không chồng job 22:00. GUI: Datacenter → Backup → chọn job → Run now (hoặc tạo job "pre-update" không lịch gồm các VM này). CLI chạy được từ node bất kỳ vì gọi API đúng node đang giữ VM (vzdump thuần chỉ làm việc với guest trên node cục bộ); theo dõi trong Tasks:
for id in 247 242 234 250 246; do
  node=$(pvesh get /cluster/resources --type vm --output-format json | jq -r --argjson id "$id" '.[] | select(.vmid == $id) | .node')
  pvesh create "/nodes/$node/vzdump" --vmid "$id" --storage pbs-primary --mode snapshot \
    --notes-template '{{guestname}} ({{vmid}}) - pre-update {{node}}'
done
  1. Sao lưu cấu hình từng node (nhỏ, đẩy ra ngoài node):
d=/root/preupdate/$(date +%F)/$(hostname -s); mkdir -p "$d"
tar czf "$d/etc-pve-network-apt.tgz" /etc/pve /etc/corosync /etc/ceph /etc/network /etc/apt /etc/default/pve-ha-manager 2>/dev/null || true
pveversion -v      > "$d/pveversion.txt"
dpkg -l            > "$d/dpkg.txt"
pvecm status       > "$d/pvecm.txt" 2>&1 || true
ha-manager status  > "$d/ha.txt"    2>&1 || true
ceph -s            > "$d/ceph-status.txt" 2>&1 || true
ceph versions      > "$d/ceph-versions.txt" 2>&1 || true
qm list            > "$d/qm-list.txt"; pct list > "$d/pct-list.txt"
chmod -R go-rwx /root/preupdate
scp -rp "/root/preupdate/$(date +%F)" [email protected]:/srv/backup/pve-preupdate/   # ops01 (bài 07); tạo thư mục đích trước
Gói cấu hình chứa bí mật: /etc/pve có priv/ (khóa, token, keyring Ceph) nên file .tgz phải để quyền 600 như trên, chỉ lưu ở nơi tin cậy (ops01 có mã hóa đĩa/NAS riêng) và xóa bản cũ theo chính sách lưu giữ — đừng đính kèm vào ticket hay chat.
Không thay thế restore test: chỉ bản backup đã restore thử mới là backup thật (bài 04, mục 7). Với snapshot Ceph của riêng VM đang thay đổi cấu hình lớn, dùng qm snapshot <vmid> pre-update — nhưng snapshot không thay cho PBS khi node/đĩa hỏng.
PBS (pbs01) → Datastore syno-primary → Content: các snapshot vm/247, vm/242, vm/234, vm/250, vm/246 từ đêm trước, cột Verify State là OK — điều kiện go/no-go trước khi cập nhật.
PBS (pbs01) → Datastore syno-primary → Content: các snapshot vm/247, vm/242, vm/234, vm/250, vm/246 từ đêm trước, cột Verify State là OK — điều kiện go/no-go trước khi cập nhật.

4.5 Ghi lại "trạng thái gốc"

pve-rolling.sh drain tự ghi danh sách guest đang chạy vào /var/lib/pve-rolling-<node>.state để trả guest không-HA về đúng node cũ. Với thao tác tay hãy tự lưu: qm list; pct list và pvesh get /cluster/resources --type vm.

05

Cập nhật cuốn chiếu từng node (GUI + CLI)

Đặt cờ Ceph (một lần cho cả cluster) · Bật maintenance mode và chờ HA chuyển guest · Di chuyển guest không thuộc HA

Thứ tự gợi ý cho HOATRANHUB: node4 → node3 → node2 → node1 (giống thứ tự restart corosync ở bài 03; node1 là MON leader và NUT master ở bài 10 nên làm cuối). ha-manager status cho biết node đang là CRM master; khi node master bị reboot, HA bầu master mới trên node khác (bình thường, nhưng theo dõi ha-manager status ở bước kiểm tra sau reboot).

5.1 Đặt cờ Ceph (một lần cho cả cluster)

GUI: chọn một node → Ceph → OSD → Manage Global Flags → tick noout và norebalance → OK.

ceph osd set noout
ceph osd set norebalance
ceph health detail     # (mẫu) HEALTH_WARN … OSDMAP_FLAGS: noout,norebalance flag(s) set
Giao diện node → Ceph → OSD → Manage Global Flags: đã tick noout và norebalance; Ceph → Status hiện HEALTH_WARN do cờ OSDMAP_FLAGS (bình thường trong cửa sổ bảo trì).
Giao diện node → Ceph → OSD → Manage Global Flags: đã tick noout và norebalance; Ceph → Status hiện HEALTH_WARN do cờ OSDMAP_FLAGS (bình thường trong cửa sổ bảo trì).

Tùy chọn hẹp hơn: ceph osd set-group noout node4 chỉ đặt cờ cho CRUSH bucket của node cần bảo trì (cú pháp set-group <flags> <who> nằm trong tài liệu health checks của Ceph; cần kiểm lại trên máy thật với tên bucket).

5.2 Bật maintenance mode và chờ HA chuyển guest

# Chạy trên node nào cũng được; ví dụ cho node4
ha-manager crm-command node-maintenance enable node4
watch -n3 ha-manager status

Kết quả mong đợi (mẫu — chuỗi chính xác có thể khác):

quorum OK
master node2 (active, Tue Oct 20 19:12:03 2026)
lrm node1 (active, Tue Oct 20 19:12:08 2026)
lrm node2 (active, Tue Oct 20 19:12:07 2026)
lrm node3 (idle, Tue Oct 20 19:12:05 2026)
lrm node4 (maintenance mode, Tue Oct 20 19:12:08 2026)
service vm:100 (node1, started)
service vm:101 (node2, started)
Terminal: ha-manager status sau node-maintenance enable node4 — dòng lrm node4 ở trạng thái maintenance mode, các service vm:100 và vm:101 đã chuyển sang node khác; tương ứng bảng Datacenter → HA.
Terminal: ha-manager status sau node-maintenance enable node4 — dòng lrm node4 ở trạng thái maintenance mode, các service vm:100 và vm:101 đã chuyển sang node khác; tương ứng bảng Datacenter → HA.

Chờ tới khi không còn dòng service … (node4, started|migrate|relocate). Dịch vụ HA ở trạng thái stopped vẫn ở lại node (không được chuyển).

Liên hệ với rule HA của bài 03: rule ha-node-affinity (node1:2,node2:2,node3:1,node4:1, strict 0) khiến guest HA ưu tiên chạy trên node1/node2. Khi drain node4 và node3 hầu như không có guest HA nào phải di chuyển; khi drain node2 chúng sang node1 (cùng priority 2) và ngược lại. Đó là lý do thứ tự node4 → node3 → node2 → node1 giảm số lần migrate. Nếu rule của bạn khác, hãy kiểm tra ha-manager rules list để dự đoán node đích.
Nếu lệnh không có tác dụng: diễn đàn Proxmox có báo cáo (PVE 9.1.4, 9.2.18) node không vào maintenance và không có thông báo lỗi; chưa thấy kết luận chính thức. Đừng chờ vô hạn — dùng cách dự phòng ở mục 13 (ha-manager crm-command migrate vm:<id> <node> từng dịch vụ).

5.3 Di chuyển guest không thuộc HA

Maintenance mode chỉ chuyển guest trong HA. Guest còn lại (kể cả pbs01, pdm01 nếu chưa đưa vào HA) cần chuyển tay.

GUI: chọn node → nút Bulk Actions → Bulk Migrate (tiêu đề node) → chọn node đích, tích VM/CT, Migrate.

qm list;  pct list                                   # guest còn chạy trên node4
qm migrate 101 node3 --online 1                      # VM: live migration
pct migrate 200 node3 --restart                      # CT: không live migrate được, dùng restart migration
# Hoặc gom: pvenode migrateall node3 --vms 101,102 --max-workers 2
Giao diện node4: Bulk Actions → Bulk Migrate chọn node đích node3 cho các guest không thuộc HA (pbs01, pdm01), hoặc terminal với qm migrate --online 1 hoàn tất 'migration finished successfully'.
Giao diện node4: Bulk Actions → Bulk Migrate chọn node đích node3 cho các guest không thuộc HA (pbs01, pdm01), hoặc terminal với qm migrate --online 1 hoàn tất 'migration finished successfully'.
Mẹo: pbs01 (VM101) và pdm01 (VM102) nằm trên node4. Live migration không làm đứt NFS tới syno-primary nhưng đừng để nó chồng giờ backup 22:00, sync 00:30–01:00 hay GC chủ nhật 05:00 của bài 04. Ceph của lab dùng chung dải 10.11.45.0/24 cho public và cluster (bài 03, pveceph init --network), nên recovery sau reboot đi chung đường với migration và quản trị: giới hạn số luồng (--max-workers 1–2) hoặc băng thông migration (Datacenter → Options → Bandwidth Limits), chỉnh tốc độ backfill/recovery theo bài 11.

5.4 Cập nhật gói

tmux new -s update           # hoặc: tmux attach -t update
apt update
apt list --upgradable 2>/dev/null | head -40
apt-get -s dist-upgrade | grep -E '^(Inst|Remv)' | head -60    # xem trước: có gói bị GỠ không?
apt full-upgrade
Terminal SSH trong tmux trên node4: apt update, apt list --upgradable và apt-get -s dist-upgrade (không có dòng Remv), tiếp theo apt full-upgrade đang cài gói proxmox-kernel và pve-manager.
Terminal SSH trong tmux trên node4: apt update, apt list --upgradable và apt-get -s dist-upgrade (không có dòng Remv), tiếp theo apt full-upgrade đang cài gói proxmox-kernel và pve-manager.
  • Dùng apt full-upgrade (hoặc apt dist-upgrade); docs khẳng định apt upgrade có thể để lại trạng thái gói dở dang vì PVE là rolling release.
  • Dừng lại nếu bản mô phỏng có dòng Remv proxmox-ve, Remv pve-manager hay apt báo "You are attempting to remove the meta-package 'proxmox-ve'" — thường do thiếu repo (mục 3.1).
  • Xem ghi chú thay đổi: GUI node → Updates → Changelog, hoặc apt changelog pve-manager.
  • Nếu apt hỏi về file cấu hình (/etc/...), giữ bản hiện tại trừ khi changelog yêu cầu khác (ghi lại quyết định).
  • GUI: node → Updates → Refresh → Upgrade mở cửa sổ console chạy cập nhật; ưu tiên SSH + tmux vì phiên web dễ đứt. Script pveupgrade đi kèm pve-manager cũng bọc việc này nhưng không có trong tài liệu chính thức (docs chỉ nêu apt update + apt full-upgrade); nếu muốn dùng, kiểm tra trước trên máy thật: dpkg -S "$(command -v pveupgrade)".
  • apt autoremove: không chạy ngay sau khi cập nhật kernel — cần giữ lại kernel cũ để quay lui (mục 10).

5.5 Có cần reboot không?

latest=$(ls -1 /boot/vmlinuz-* | sed 's|/boot/vmlinuz-||' | sort -V | tail -1)
echo "chạy: $(uname -r) — mới nhất: $latest"

Reboot khi kernel mới hơn kernel đang chạy; đồng thời nên reboot khi các gói pve-qemu-kvm, libc6, corosync, ceph-*, microcode (intel-microcode/amd64-microcode) hoặc pve-firmware đổi — docs: cập nhật microcode luôn cần reboot. VM giữ nguyên bản QEMU cũ cho tới khi được dừng/khởi động lại hoặc live-migrate sang node đã cập nhật (reboot trong guest không đủ); quy trình cuốn chiếu tự giải quyết việc này vì guest được migrate qua các node đã cập nhật.

5.6 Reboot và kiểm tra sau reboot

GUI: node → Reboot. CLI: systemctl reboot. Giữ console BMC mở nếu là phần cứng thật.

Sau khi node lên lại (SSH vào được):

pveversion               # (mẫu) pve-manager/9.2.x/… (running kernel: 7.0.x-pve)
uname -r
pvecm status             # Quorate: Yes; Total votes = Expected votes (4/4)
systemctl --failed --no-pager
ha-manager status        # LRM của node vẫn ở "maintenance mode" (chưa tắt)
ceph -s                  # 4 osds: 4 up, 4 in; PG recovering → active+clean; WARN chỉ do cờ noout/norebalance
journalctl -p err -b --no-pager | tail -20
Terminal node4 sau reboot: pveversion hiện pve-manager 9.2.x và kernel 7.0.x-pve mới, pvecm status Quorate Yes đủ 4/4 phiếu, systemctl --failed rỗng, ceph -s với 4 osds up/in.
Terminal node4 sau reboot: pveversion hiện pve-manager 9.2.x và kernel 7.0.x-pve mới, pvecm status Quorate Yes đủ 4/4 phiếu, systemctl --failed rỗng, ceph -s với 4 osds up/in.

Mong đợi: đủ phiếu (4/4), OSD của node up/in, không unit lỗi. Một vài PG chuyển peering/degraded rồi active+clean trong vài phút là bình thường.

5.7 Trả node về cluster

ha-manager crm-command node-maintenance disable node4
ha-manager status                 # guest HA đã ở node4 lúc bật maintenance sẽ được chuyển về

Guest không-HA chuyển về bằng GUI (Bulk Migrate theo chiều ngược lại) hoặc qm migrate/pct migrate từ node đang giữ chúng. Sau đó chờ Ceph ổn định rồi mới sang node kế:

watch -n10 "ceph -s | grep -E 'health|osd:|pgs|recovery'"

Chỉ sang node tiếp theo khi mọi PG active+clean và cảnh báo duy nhất còn lại là OSDMAP_FLAGS.

5.8 Kết thúc đợt cập nhật

Sau node cuối cùng:

ceph osd unset norebalance
ceph osd unset noout
ceph -s                            # HEALTH_OK
pvecm status && ha-manager status
for n in node1 node2 node3 node4; do ssh $n 'echo $(hostname -s): $(pveversion | cut -d" " -f1) kernel $(uname -r)'; done

Mọi node phải cùng phiên bản pve-manager và kernel. Ghi biên bản (ai, khi nào, từ bản nào lên bản nào, sự cố) vào log bảo trì. Thời gian tham khảo mỗi node: di dời guest 3–10 phút, apt full-upgrade 5–15 phút, reboot 3–10 phút (phần cứng thật có POST dài), Ceph ổn định 5–15 phút — tức 20–40 phút/node, ước tính; hãy đo trong lab của bạn.

Smoke test sau đợt cập nhật (khoảng 10 phút):

  1. Khởi động một VM thử trên vm-ceph (VM test có sẵn, hoặc VM dựng từ template ở bài 07 khi đã có).
  2. Live-migrate VM thử qua lại giữa hai node; thử ha-manager crm-command migrate vm:<id> <node> nếu VM nằm trong HA.
  3. Chạy backup thử VM đó sang pbs-primary và xác nhận snapshot xuất hiện ở PBS.
  4. Kiểm tra DNS nội bộ (getent hosts pbs01) và đăng nhập giao diện web bằng tài khoản quản trị có TOTP.
  5. Xem dashboard giám sát (bài 15, khi đã dựng): không có cảnh báo mới về node, Ceph hay dịch vụ.
06

Script trợ lý pve-rolling.sh

Script gói các bước kiểm tra và drain/undrain để dùng cả khi làm tay lẫn trong Ansible. Chạy bằng root trên node PVE; cần jq. Lưu ý kỹ thuật: output của lệnh luôn gán vào biến rồi grep <<<"$biến" để tránh lỗi SIGPIPE của lệnh | grep -q khi bật pipefail.

#!/usr/bin/env bash
# /usr/local/sbin/pve-rolling.sh — trợ lý cập nhật cuốn chiếu PVE 9.x (+ Ceph). Chạy bằng root TRÊN node PVE.
# Dùng: pve-rolling.sh preflight | flags-set | flags-unset | drain <node-đích> | undrain | postcheck | ceph-wait [giây]
set -euo pipefail

ME=$(hostname -s)
STATE=/var/lib/pve-rolling-$ME.state            # danh sách guest đang chạy trước khi drain
PBS_STORAGE=${PBS_STORAGE:-pbs-primary}
MAX_BACKUP_AGE_H=${MAX_BACKUP_AGE_H:-36}
BACKUP_EXCLUDE=${BACKUP_EXCLUDE:-"101 102"}     # VM không nằm trong job backup (pbs01, pdm01 — bài 04)
DRAIN_TIMEOUT=${DRAIN_TIMEOUT:-1800}

log() { printf '%s [%s] %s\n' "$(date '+%F %T')" "$ME" "$*"; }
die() { log "LỖI: $*" >&2; exit 1; }
command -v jq >/dev/null || die "thiếu jq (apt-get install -y jq)"

in_cluster() { [ -f /etc/pve/corosync.conf ]; }
has_ceph()   { [ -f /etc/pve/ceph.conf ] && command -v ceph >/dev/null; }
ha_sids()    { pvesh get /cluster/ha/resources --output-format json | jq -r '.[].sid'; }
ha_busy()    { local s; s=$(ha-manager status) || return 0; grep -Eq "^service [^ ]+ \($ME, (started|migrate|relocate)" <<<"$s"; }
running_guests() { { qm list | awk 'NR>1 && $3=="running"{print "vm", $1}'; pct list | awk 'NR>1 && $2=="running"{print "ct", $1}'; }; }

ceph_other_checks() {      # in ra các health check KHÁC OSDMAP_FLAGS (cờ do ta đặt thì được phép)
  local h; h=$(ceph --connect-timeout 15 health detail --format json) || { echo "ceph-không-trả-lời"; return 0; }
  jq -r '.checks | keys[] | select(. != "OSDMAP_FLAGS")' <<<"$h"
}
pgs_clean() { local s; s=$(ceph --connect-timeout 15 pg stat) || return 1; grep -Eq '^([0-9]+) pgs: \1 active\+clean' <<<"$s"; }

migrate_guest() {          # migrate_guest <vm|ct> <vmid> <node-đích>; chờ task xong
  local kind=$1 id=$2 target=$3 src upid st
  src=$(pvesh get /cluster/resources --type vm --output-format json | jq -r --argjson id "$id" '.[] | select(.vmid == $id) | .node')
  [ -n "$src" ] || { log "không thấy guest $id"; return 1; }
  [ "$src" != "$target" ] || return 0
  if [ "$kind" = vm ]; then
    upid=$(pvesh create "/nodes/$src/qemu/$id/migrate" --target "$target" --online 1 | tr -d '"')
  else
    upid=$(pvesh create "/nodes/$src/lxc/$id/migrate" --target "$target" --restart 1 | tr -d '"')
  fi
  while :; do
    st=$(pvesh get "/nodes/$src/tasks/$upid/status" --output-format json)
    [ "$(jq -r .status <<<"$st")" = stopped ] && break
    sleep 5
  done
  [ "$(jq -r .exitstatus <<<"$st")" = OK ] || { log "migrate $kind $id thất bại: $(jq -r .exitstatus <<<"$st")"; return 1; }
  log "đã chuyển $kind $id: $src -> $target"
}

cmd_preflight() {
  local ps hs votes quorum others act sites avail cutoff id ts stale=""
  declare -A last=()
  if in_cluster; then
    ps=$(pvecm status)
    grep -Eq '^Quorate:[[:space:]]+Yes' <<<"$ps" || die "cụm KHÔNG có quorum"
    votes=$(awk '/^Total votes:/{print $3}' <<<"$ps"); quorum=$(awk '/^Quorum:/{print $2}' <<<"$ps")
    log "phiếu: tổng=$votes, quorum=$quorum"
    [ $((votes - 1)) -ge "$quorum" ] || die "tắt thêm 1 node sẽ mất quorum"
    [ $((votes - 1)) -gt "$quorum" ] || log "CẢNH BÁO: sau khi drain sẽ không còn dung sai lỗi (thêm QDevice nếu số node chẵn)"
    hs=$(ha-manager status)
    grep -Eq '^quorum OK' <<<"$hs" || die "HA: quorum chưa OK"
    ! grep -qi 'disarm' <<<"$hs" || die "HA đang disarm — arm-ha trước khi cập nhật gói"
    ! grep -Eq '^service [^ ]+ \([^,]+, (error|fence)' <<<"$hs" || die "có dịch vụ HA ở trạng thái error/fence"
  fi
  if has_ceph; then
    others=$(ceph_other_checks)
    [ -z "$others" ] || die "Ceph có cảnh báo ngoài cờ: $(tr '\n' ' ' <<<"$others")"
    pgs_clean || die "Ceph: PG chưa active+clean"
    log "Ceph: không có cảnh báo, $(ceph pg stat)"
  fi
  act=$(pvenode task list --source active --output-format json | jq -r '[.[].type] | unique | map(select(test("vzdump|qmigrate|vzmigrate"))) | join(",")')
  [ -z "$act" ] || die "đang có tác vụ: $act"
  sites=$(apt-get indextargets --format '$(SITE)' | sort -u)
  ! grep -q 'enterprise.proxmox.com' <<<"$sites" || log "CẢNH BÁO: repo enterprise đang bật (không có subscription sẽ lỗi 401)"
  avail=$(df -BG --output=avail / | awk 'NR==2{gsub("G","",$1); print $1}')
  [ "$avail" -ge 5 ] || die "chỉ còn ${avail}G trên / (cần ≥ 5G)"
  # backup: bản mới nhất của từng VMID trên storage PBS
  cutoff=$(( $(date +%s) - MAX_BACKUP_AGE_H * 3600 ))
  while read -r id ts; do last[$id]=$ts; done < <(pvesm list "$PBS_STORAGE" --content backup 2>/dev/null \
      | awk 'NR>1{n=split($1,a,"/"); print a[n-1], a[n]}' | sort -k1,1 -k2,2r | awk '!seen[$1]++')
  while read -r _ id; do
    case " $BACKUP_EXCLUDE " in *" $id "*) continue ;; esac
    ts=${last[$id]:-}
    if [ -z "$ts" ] || [ "$(date -d "$ts" +%s)" -lt "$cutoff" ]; then stale="$stale $id"; fi
  done < <(running_guests)
  if [ -z "$stale" ]; then log "backup: mọi guest đang chạy có bản ≤ ${MAX_BACKUP_AGE_H} giờ"; else log "CẢNH BÁO: guest thiếu backup mới:$stale"; fi
  log "PREFLIGHT ĐẠT"
}

cmd_flags_set()   { has_ceph || return 0; ceph osd set noout; ceph osd set norebalance; log "đã đặt noout + norebalance"; }
cmd_flags_unset() { has_ceph || return 0; ceph osd unset norebalance; ceph osd unset noout; log "đã gỡ noout + norebalance"; }

cmd_drain() {
  local target=${1:?cần tên node đích} sids kind id failed=0 left t0=$SECONDS
  [ "$target" != "$ME" ] || die "node đích phải khác $ME"
  running_guests > "$STATE"
  log "ghi $(wc -l < "$STATE") guest đang chạy vào $STATE"
  if in_cluster; then
    ha-manager crm-command node-maintenance enable "$ME"
    while ha_busy; do
      (( SECONDS - t0 < DRAIN_TIMEOUT )) || die "HA chưa chuyển hết guest sau ${DRAIN_TIMEOUT}s (xem ha-manager status; rule node-affinity strict?)"
      log "chờ HA chuyển guest…"; sleep 10
    done
  fi
  sids=$(ha_sids)
  while read -r kind id; do
    ! grep -qx "$kind:$id" <<<"$sids" || continue          # guest HA đã do maintenance mode xử lý
    migrate_guest "$kind" "$id" "$target" || failed=$((failed + 1))
  done < "$STATE"
  left=$(running_guests | wc -l)
  { [ "$failed" -eq 0 ] && [ "$left" -eq 0 ]; } || die "drain chưa xong: $failed lỗi migrate, còn $left guest đang chạy"
  log "DRAIN XONG — node trống, có thể cập nhật/reboot"
}

cmd_undrain() {
  local sids kind id failed=0
  if in_cluster; then ha-manager crm-command node-maintenance disable "$ME"; log "đã tắt maintenance — HA sẽ trả guest về $ME"; fi
  [ -f "$STATE" ] || { log "không có $STATE — bỏ qua bước trả guest không-HA"; return 0; }
  sids=$(ha_sids)
  while read -r kind id; do
    ! grep -qx "$kind:$id" <<<"$sids" || continue
    migrate_guest "$kind" "$id" "$ME" || failed=$((failed + 1))
  done < "$STATE"
  [ "$failed" -eq 0 ] || die "$failed guest không-HA chưa trả về được $ME (xem $STATE)"
  mv "$STATE" "$STATE.done"; log "đã trả guest không-HA về $ME"
}

cmd_postcheck() {
  local u ps exp tot down
  for u in pve-cluster pvedaemon pveproxy pvestatd; do systemctl is-active --quiet "$u" || die "dịch vụ $u không chạy"; done
  [ "$(systemctl --failed --no-legend | wc -l)" -eq 0 ] || { systemctl --failed --no-pager; die "có unit lỗi"; }
  if in_cluster; then
    systemctl is-active --quiet corosync || die "corosync không chạy"
    ps=$(pvecm status)
    grep -Eq '^Quorate:[[:space:]]+Yes' <<<"$ps" || die "chưa có quorum"
    exp=$(awk '/^Expected votes:/{print $3}' <<<"$ps"); tot=$(awk '/^Total votes:/{print $3}' <<<"$ps")
    [ "$exp" = "$tot" ] || die "chưa đủ phiếu ($tot/$exp)"
  fi
  if has_ceph; then
    down=$(ceph --connect-timeout 15 osd tree down --format json | jq '[.nodes[] | select(.type == "osd")] | length')
    [ "$down" -eq 0 ] || die "còn $down OSD đang down"
  fi
  log "POSTCHECK ĐẠT — $(pveversion | cut -d' ' -f1), kernel $(uname -r)"
}

cmd_ceph_wait() {
  has_ceph || return 0
  local timeout=${1:-1800} t0=$SECONDS others
  while :; do
    others=$(ceph_other_checks || true)
    if [ -z "$others" ] && pgs_clean; then log "Ceph ổn định: $(ceph pg stat)"; return 0; fi
    (( SECONDS - t0 < timeout )) || die "quá ${timeout}s mà Ceph chưa ổn định: ${others:-PG chưa active+clean}"
    log "chờ Ceph: $(tr '\n' ' ' <<<"${others:-PG chưa active+clean}")"; sleep 20
  done
}

case "${1:-}" in
  preflight)   cmd_preflight ;;
  flags-set)   cmd_flags_set ;;
  flags-unset) cmd_flags_unset ;;
  drain)       shift; cmd_drain "$@" ;;
  undrain)     cmd_undrain ;;
  postcheck)   cmd_postcheck ;;
  ceph-wait)   shift; cmd_ceph_wait "$@" ;;
  *) echo "Dùng: $0 preflight | flags-set | flags-unset | drain <node-đích> | undrain | postcheck | ceph-wait [giây]" >&2; exit 2 ;;
esac
Thử trước, dùng sau: script là mẫu viết cho PVE 9.x; đã kiểm cú pháp bash và chạy thử với lệnh giả lập (mock) khi biên soạn, nhưng chưa chạy trên cluster thật — hãy chạy preflight/drain/undrain trên staging và node6 (vòng 0) trước. Các điểm cần kiểm lại trên máy thật: định dạng ha-manager status (dòng service … (node, trạng_thái)), tên trường JSON của pvenode task list, ceph osd tree down, và việc pvesh create …/migrate trả về chuỗi UPID.
Lệnh drain chỉ nên chạy khi đã có cờ Ceph: drain không tự đặt noout/norebalance (vì cờ áp dụng cho cả cluster, đặt một lần ở mục 5.1 hoặc pha 1 của Ansible).
07

Tự động hóa cho nhiều node bằng Ansible

Ansible miễn phí, chỉ cần SSH: không cài agent trên node. Máy điều khiển là ops01 (VM290, tạo ở bài 07) hoặc máy quản trị bất kỳ có SSH tới VLAN 45. Bài 05 sẽ siết SSH: cần mở 22/tcp từ ops01 tới dải IP các node PVE (IPSet do bài 05 đặt tên).

pve-ops/
├── ansible.cfg
├── inventory.yml
├── files/pve-rolling.sh          # script ở mục 6
└── rolling-update.yml

ansible.cfg:

[defaults]
inventory = inventory.yml
interpreter_python = auto_silent
[ssh_connection]
pipelining = True

inventory.yml (thứ tự host trong cluster = thứ tự cập nhật):

all:
  vars:
    ansible_user: sysadmin        # cần `apt install sudo` + sysadmin trong nhóm sudo; hoặc root (key-only) nếu chính sách bài 05 cho phép
    ansible_become: true
  children:
    ring0_canary:
      hosts:
        node6: { ansible_host: 10.100.100.21 }
    ring1_dr:
      hosts:
        node5: { ansible_host: 10.100.100.20 }
    ring2_hoatranhub:
      vars:
        has_ceph: true
      hosts:                      # tên host PHẢI trùng tên node trong PVE
        node4: { ansible_host: 10.11.45.213 }
        node3: { ansible_host: 10.11.45.212 }
        node2: { ansible_host: 10.11.45.211 }
        node1: { ansible_host: 10.11.45.210 }

rolling-update.yml:

---
# Chạy:  ansible-playbook rolling-update.yml -l ring0_canary --tags preflight     # chỉ kiểm tra, không đổi gì
#        ansible-playbook rolling-update.yml -l ring2_hoatranhub -e reboot_always=true
# LUÔN giới hạn bằng -l: mỗi lần chỉ MỘT cluster (một vòng).

- name: Pha 0 - Cài script và kiểm tra trước
  hosts: all
  gather_facts: false
  tags: [preflight]
  tasks:
    - name: Cài jq
      ansible.builtin.command: apt-get install -y jq
      register: jq_install
      changed_when: jq_install.stdout is not search('(?m)^0 upgraded, 0 newly installed')
    - name: Cài pve-rolling.sh
      ansible.builtin.copy:
        src: files/pve-rolling.sh
        dest: /usr/local/sbin/pve-rolling.sh
        owner: root
        group: root
        mode: "0750"
    - name: Preflight
      ansible.builtin.command: /usr/local/sbin/pve-rolling.sh preflight
      changed_when: false

- name: Pha 1 - Đặt cờ Ceph (một lần cho cả cluster)
  hosts: all
  gather_facts: false
  run_once: true
  tasks:
    - name: noout + norebalance
      ansible.builtin.command: /usr/local/sbin/pve-rolling.sh flags-set
      when: has_ceph | default(false) | bool

- name: Pha 2 - Cập nhật từng node (serial 1)
  hosts: all
  gather_facts: false
  serial: 1
  any_errors_fatal: true
  vars:
    rolling: /usr/local/sbin/pve-rolling.sh
    peers: "{{ ansible_play_hosts_all }}"
    drain_target: "{{ peers[(peers.index(inventory_hostname) + 1) % (peers | length)] }}"
  tasks:
    - name: Drain - HA maintenance mode và chuyển guest
      ansible.builtin.command: "{{ rolling }} drain {{ drain_target }}"
      when: (peers | length) > 1

    - name: apt update
      ansible.builtin.command: apt-get update
      changed_when: false
    - name: apt full-upgrade (giữ file cấu hình hiện tại)
      ansible.builtin.command: >-
        apt-get -y -o Dpkg::Options::=--force-confold -o Dpkg::Options::=--force-confdef dist-upgrade
      environment:
        DEBIAN_FRONTEND: noninteractive
      register: upg
      changed_when: upg.stdout is not search('(?m)^0 upgraded, 0 newly installed')

    - name: Kernel mới hơn kernel đang chạy?
      ansible.builtin.shell: |
        latest=$(ls -1 /boot/vmlinuz-* | sed 's|/boot/vmlinuz-||' | sort -V | tail -1)
        if [ "$latest" != "$(uname -r)" ]; then echo yes; else echo no; fi
      args:
        executable: /bin/bash
      register: newer_kernel
      changed_when: false
    - name: Reboot
      ansible.builtin.reboot:
        msg: "Cập nhật cuốn chiếu PVE"
        reboot_timeout: 1800
        post_reboot_delay: 45
      when: newer_kernel.stdout == 'yes' or (reboot_always | default(false) | bool)

    - name: Postcheck - đủ phiếu, dịch vụ PVE, OSD up
      ansible.builtin.command: "{{ rolling }} postcheck"
      register: post
      retries: 30
      delay: 20
      until: post.rc == 0
      changed_when: false
    - name: Undrain - tắt maintenance, trả guest
      ansible.builtin.command: "{{ rolling }} undrain"
      when: (peers | length) > 1
    - name: Chờ Ceph active+clean
      ansible.builtin.command: "{{ rolling }} ceph-wait 1800"
      when: has_ceph | default(false) | bool
      changed_when: false

- name: Pha 3 - Gỡ cờ Ceph và báo cáo phiên bản
  hosts: all
  gather_facts: false
  tasks:
    - name: Gỡ noout + norebalance
      ansible.builtin.command: /usr/local/sbin/pve-rolling.sh flags-unset
      run_once: true
      when: has_ceph | default(false) | bool
    - name: Phiên bản sau cập nhật
      ansible.builtin.shell: echo "$(hostname -s) $(pveversion | cut -d' ' -f1) kernel $(uname -r)"
      register: ver
      changed_when: false
    - name: Báo cáo
      ansible.builtin.debug:
        msg: "{{ ver.stdout }}"

Cách dùng theo vòng: chạy --tags preflight cho vòng đó trước; sau đó chạy thật. Nếu playbook dừng giữa chừng (any_errors_fatal), node đang xử lý được để nguyên ở maintenance mode và cờ Ceph vẫn còn — đó là chủ ý để người vận hành kiểm tra. Xử lý: sửa lỗi, rồi chạy tay pve-rolling.sh undrain trên node đó (hoặc ha-manager crm-command node-maintenance disable <node>), chạy lại playbook với -l các node còn lại, cuối cùng pve-rolling.sh flags-unset.

Terminal ops01 (trong tmux): ansible-playbook rolling-update.yml -l ring2_hoatranhub chạy tuần tự node4 → node3 → node2 → node1; PLAY RECAP không có failed, mỗi node có tác vụ postcheck và ceph-wait ok.
Terminal ops01 (trong tmux): ansible-playbook rolling-update.yml -l ring2_hoatranhub chạy tuần tự node4 → node3 → node2 → node1; PLAY RECAP không có failed, mỗi node có tác vụ postcheck và ceph-wait ok.
ops01 là VM trên chính cluster: nó bị live-migrate khi node chứa nó được drain, và phiên SSH có thể khựng vài giây. Playbook an toàn khi chạy lại (idempotent); với cluster lớn nên đặt máy điều khiển ngoài cluster được cập nhật (hoặc ở cluster quản trị riêng). Luôn chạy trong tmux.

Nhiều cluster (> ~30 node) — chạy theo sóng:

# inventory có các nhóm cluster_a, cluster_b, … ; mỗi cluster một tiến trình, bên trong vẫn serial: 1
ansible-playbook rolling-update.yml -l cluster_canary                  # sóng 1: cluster canary, chờ soak
for c in cluster_a cluster_b cluster_c; do                              # sóng 2: song song giữa các cluster độc lập
  ansible-playbook rolling-update.yml -l "$c" > "logs/$c-$(date +%F).log" 2>&1 &
done; wait

Inventory động lấy từ NetBox (bài 23) hoặc xuất từ PDM là hướng mở rộng; PDM (bài 04) dùng để quan sát (Remotes → Updates) chứ không thay vòng lặp serial.

08

Nâng cấp Ceph

Ba loại nâng cấp · Điều kiện trước khi nâng Squid → Tentacle (wiki Proxmox) · Các bước nâng Squid → Tentacle (HOATRANHUB: 4 MON, 2 MGR, 4 OSD, không có MDS)

8.1 Ba loại nâng cấp

LoạiVí dụCách làm
Cập nhật gói cùng releaseTentacle 20.2.3 → 20.2.4-pve4apt full-upgrade + reboot từng node (mục 5), hoặc restart daemon (8.4)
Nâng releaseSquid 19.2 → Tentacle 20.2Quy trình wiki chính thức ở 8.3: mon → mgr → osd → (mds) rồi require-osd-release
Nâng release cùng lúc PVE majorReef → Squid trước PVE 8 → 9Mục 9

Lab của bài 03 dựng mới ở Tentacle 20.2.4-pve4 nên không phải làm mục 8.3; mục 8.4–8.5 áp dụng cho các lần cập nhật sau. Cài Ceph cho một node mới thêm vào cluster đã ở Tentacle: pveceph install --repository no-subscription --version tentacle (tùy chọn --repository/--version theo man page pveceph; docs ghi mặc định enterprise và tentacle, nên luôn nêu rõ --repository no-subscription). Bài vẫn trình bày đủ 8.3 vì nhiều hệ thống còn Squid, mà Squid sắp hết hạn hỗ trợ (bảng phiên bản, mục 1).

8.2 Điều kiện trước khi nâng Squid → Tentacle (wiki Proxmox)

  • Mọi node chạy PVE 9.1 trở lên với pve-manager ≥ 9.1.4 (staff forum 2026-09 nói cần PVE 9.2 trở lên).
  • Ceph đang là Squid với gói ≥ 19.2.3-pve3; cluster HEALTH_OK; đã có backup (mục 4.4).
  • Kiểm: pveversion --verbose | grep -E 'pve-manager|ceph' và ceph versions (mọi daemon cùng một bản).
  • Lệnh bắt đầu bằng ceph chỉ chạy một lần ở một node Ceph bất kỳ; các lệnh còn lại chạy ở từng node.
  • Thử trên staging trước (mục 3.2). Wiki Proxmox không đưa ra quy trình hạ cấp release Ceph; hãy coi bước require-osd-release là điểm không quay lại (đường lui là khôi phục VM từ PBS — cần đối chiếu thêm tài liệu upgrade của Ceph upstream).

8.3 Các bước nâng Squid → Tentacle (HOATRANHUB: 4 MON, 2 MGR, 4 OSD, không có MDS)

  1. Đặt cờ (GUI: Ceph → OSD → Manage Global Flags):
ceph osd set noout
  1. Đổi repo Ceph trên từng node (không subscription: ceph-tentacle, thành phần no-subscription):
sed -i 's/squid/tentacle/' /etc/apt/sources.list.d/ceph.sources      # định dạng .sources
grep -E 'URIs|Suites|Components' /etc/apt/sources.list.d/ceph.sources
# URIs: http://download.proxmox.com/debian/ceph-tentacle   Suites: trixie   Components: no-subscription
  1. Cập nhật gói trên từng node (daemon vẫn chạy bản Squid cho đến khi restart):
apt update
apt full-upgrade
  1. Restart MON, từng node một, sau mỗi lần kiểm tra ceph -s (HEALTH_OK, hoặc WARN chỉ do noout):
systemctl restart ceph-mon.target
ceph -s
# Sau khi đủ 4 MON:
ceph mon dump | grep min_mon_release          # phải là: min_mon_release 20 (tentacle)
  1. Restart MGR (thường đã tự restart cùng MON; nếu không thì làm trên từng node). Wiki lưu ý MGR có thể đơ sau lần restart MON đầu tiên — restart xong hết MON rồi mới restart MGR:
systemctl restart ceph-mgr.target
ceph -s                                        # mgr: một active, còn lại standby
  1. Restart OSD, từng node một (chờ ceph -s về HEALTH_OK/active+clean rồi mới node kế):
systemctl restart ceph-osd.target
ceph -s
# Khi xong có thể thấy: all OSDs are running tentacle or later but require_osd_release < tentacle
  1. MDS (chỉ khi dùng CephFS): lab không có CephFS. Nếu có, làm đúng quy trình trong wiki (tắt standby-replay, max_mds 1, dừng MDS standby, restart MDS active, khởi động lại standby, khôi phục max_mds/allow_standby_replay).
  2. Chốt release (chỉ sau khi ceph versions cho thấy mọi OSD đã ở 20.2):
ceph versions
ceph osd require-osd-release tentacle
ceph osd dump | grep require_osd_release        # require_osd_release tentacle
Terminal node1 sau khi nâng Ceph: ceph versions chỉ còn một dòng 20.2.x (tentacle) cho mon, mgr, osd; ceph osd dump | grep require_osd_release hiện tentacle.
Terminal node1 sau khi nâng Ceph: ceph versions chỉ còn một dòng 20.2.x (tentacle) cho mon, mgr, osd; ceph osd dump | grep require_osd_release hiện tentacle.
  1. Gỡ cờ:
ceph osd unset noout
ceph -s                                          # HEALTH_OK

Có thể tùy chọn bật telemetry (xem trước bằng ceph telemetry preview-all). Lưu ý: OSD tạo từ Octopus (15) trở về trước có thể thấy cột META trong ceph osd df tăng sau khi lên Tentacle ≤ 20.2.4; khắc phục tạm bằng ceph daemon osd.<id> compact từng OSD ngoài giờ cao điểm, hoặc dựng lại OSD (wiki Proxmox).

Mẹo: có thể kết hợp bước 3–6 với reboot từng node (mục 5): sau apt full-upgrade mà reboot thì mọi daemon tự chạy bản mới. Với nâng release, vẫn nên restart theo đúng thứ tự mon → mgr → osd trên toàn cluster trước khi chốt require-osd-release — đừng để một node vừa reboot đã làm OSD lên Tentacle khi còn MON chưa nâng.

8.4 Cập nhật bản vá Ceph (20.2.x → 20.2.y) không reboot

Khi apt full-upgrade chỉ đổi gói Ceph và bạn chưa muốn reboot, restart daemon theo thứ tự trên từng node:

systemctl restart ceph-mon.target     # chờ ceph -s: đủ MON trong quorum
systemctl restart ceph-mgr.target
systemctl restart ceph-osd.target     # chờ PG active+clean
ceph versions                         # trong lúc nâng sẽ thấy hai bản; xong thì chỉ còn một

Cập nhật trong cùng release không cần require-osd-release. Bản 20.2.4 (2026-08-19) kèm các bản vá CVE (trong đó CVE-2025-30156 liên quan khóa cephx) — đọc "Critical Upgrade Steps" trong ghi chú phát hành upstream và làm tiếp mục 8.5.

8.5 Di chuyển khóa cephx sau khi lên Ceph ≥ 20.2.4 / 19.2.6

Vì sao: Squid ≥ 19.2.6 và Tentacle ≥ 20.2.4 thêm các health check cho khóa và ticket dùng cipher cũ aes (bị ảnh hưởng bởi CVE-2025-30156). Ngay sau khi nâng, cluster vốn sạch cảnh báo có thể báo HEALTH_ERR ở hai check mức lỗi; pve-docs nhấn mạnh điều này không có nghĩa dịch vụ lưu trữ đã hỏng. Wiki nâng cấp 8→9 cũng ghi: có thể gặp HEALTH_ERR sau khi node MON đầu tiên reboot — cứ tiếp tục nâng nếu không có cảnh báo khác, và xóa cảnh báo sau khi xong theo quy trình di chuyển khóa.

Điều kiện (pve-docs, chương Ceph): pve-manager ≥ 9.2.19 và gói Ceph mới nhất trên mọi node; staged rotation cần Ceph ≥ 19.2.6-pve3 / 20.2.4-pve3 trên mọi MON; đã xong rolling restart; mọi node SSH được; chạy script trên một node, một lần, không chạy song song với việc khác (rolling restart, đổi khóa bằng công cụ khác).

Khả năng tương thích client:

ClientYêu cầu
VM dùng đĩa RBDUserspace (gói PVE mới), trừ khi bật krbd
Container trên RBDLuôn dùng kernel client → kernel đang chạy phải ≥ 7.0
Mount CephFSKernel client → kernel ≥ 7.0 (trừ khi dùng fuse)

Hệ quả cho bài này: không pin kernel < 7.0 (mục 10) trên node chạy container RBD sau khi đã siết cipher; kernel mặc định của PVE 9.2 là 7.0 nên bình thường không vấn đề. Kiểm tra: for n in node1 node2 node3 node4; do ssh $n 'echo $(hostname -s) $(uname -r)'; done.

# 1) Khóa của các dịch vụ trong cluster (mgr, mds, osd, mon, bootstrap, crash, lockbox) — luôn chạy dry-run trước
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-cluster-keys
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-cluster-keys --apply

# 2) Khóa user client (storage, client.admin) — "staged": khóa cũ và mới cùng hợp lệ cho tới khi xác nhận
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-all-storage-keys --rotate-admin-key
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys --rotate-all-storage-keys --rotate-admin-key --apply

# 3) Làm mới client (xem dưới), rồi chạy lại KHÔNG tham số: script in đúng lệnh xác nhận cuối
#    (gồm --apply --confirm-all-clients-refreshed --restrict-ciphers) — chạy đúng lệnh được in, đừng tự gõ
/usr/share/pve-manager/migrations/pve-cephx-rotate-service-keys
pveceph auth status                     # cipher hiện tại / đang chờ (ceph auth ls không hiện khóa pending)
Terminal node1: pve-cephx-rotate-service-keys chạy dry-run (chưa --apply) liệt kê khóa cần rotate và pveceph auth status hiển thị cipher hiện tại; đây là bước kiểm tra trước khi áp dụng.
Terminal node1: pve-cephx-rotate-service-keys chạy dry-run (chưa --apply) liệt kê khóa cần rotate và pveceph auth status hiển thị cipher hiện tại; đây là bước kiểm tra trước khi áp dụng.

Làm mới client = đúng việc rolling update làm: live-migrate VM sang node khác hoặc dừng/khởi động VM (docs: reboot trong guest không đủ); dừng/khởi động container và các client RBD khác; để backup/restore/clone đang chạy xong trước. Vì vậy nên đặt bước 2 → rolling update (mục 5) → bước 3.

Health checkÝ nghĩa / việc cần làm
AUTH_INSECURE_SERVICE_KEY_TYPE, AUTH_INSECURE_SERVICE_TICKETSKhóa/ticket dịch vụ còn cipher cũ → bước 1 (mức lỗi, gây HEALTH_ERR)
AUTH_INSECURE_CLIENT_KEY_TYPEKhóa user client còn cipher cũ → bước 2 và xác nhận
AUTH_INSECURE_KEYS_ALLOWED, AUTH_INSECURE_KEYS_CREATABLEMON còn chấp nhận/tạo khóa cũ → hết sau khi --restrict-ciphers
Cảnh báo từ pve-docs: không dùng --force để vượt chướng ngại (client còn khóa cũ sẽ lỗi khi kết nối lại, có khi sau vài phút hoặc vài ngày); không rotate khóa lockbox bằng ceph auth thuần; giữ /etc/pve/priv/cephx-key-migration.json (chứa khóa cũ, bảo vệ như bí mật) đến khi mọi client đã làm mới; rotate client.admin sau cùng. Có thể tạm tắt cảnh báo bằng ceph health mute <CHECK> 2w nhưng đó không phải khắc phục.
Với lab: cluster dựng mới ở 20.2.4-pve4 (bài 03). Chạy pveceph auth status và ceph health detail: nếu không có AUTH_INSECURE_* thì chưa phải làm gì thêm. Lab chưa kiểm thực tế cách pveceph init của 20.2.4 sinh khóa — cần kiểm lại trên máy thật.

8.6 Tắt/khởi động cả cluster Ceph (hiếm gặp)

Khác với rolling: dừng hết client, ceph osd set noout, tắt node không có MON trước rồi node có MON; khi bật lên bật node MON trước, chờ chỉ còn cảnh báo noout, ceph osd unset noout rồi mới bật guest (pve-docs, chương Ceph, phần về tắt cả cluster và cờ noout). Dùng cho tình huống mất điện kế hoạch — bài 10 có quy trình UPS.

09

Nâng cấp lớn PVE 8 → 9 (tóm tắt)

Chỉ dành cho hệ thống còn PVE 8; lab này đã ở 9.2. Đọc nguyên văn wiki "Upgrade from 8 to 9" trước khi làm; dưới đây là khung để lập kế hoạch.

BướcNội dung chính (theo wiki)
Điều kiệnMọi node ở PVE 8.4.1+; cluster khỏe; backup đã thử restore; ≥ 5 GB trống trên / (khuyến nghị 10 GB); có console; chạy từ SSH/console, không từ shell web. Ceph phải là Squid 19.2 trước (Quincy/Reef lên Squid trước bằng các wiki riêng)
Kiểm trapve8to9 và pve8to9 --full (chỉ báo cáo, không sửa gì); chạy lại sau mỗi lần xử lý và sau khi nâng
Từng nodeDi dời guest khỏi node → apt update && apt dist-upgrade trên 8.4 → đổi repo bookworm → trixie (sed) → viết proxmox.sources (pve-no-subscription, suite trixie) và ceph.sources (ceph-squid, trixie) → apt update && apt dist-upgrade → reboot vào kernel 9 → kiểm tra → node kế
Sau khi xong cả clusterHA groups tự chuyển thành HA rules (chỉ sau khi mọi node đã lên 9); xóa cache trình duyệt; tùy chọn apt modernize-sources; sau đó nâng Ceph Squid → Tentacle (mục 8)
Lưu ý đã biếtChuyển guest chỉ chiều cũ → mới (mới → cũ thường không hỗ trợ) nên cửa sổ trộn phiên bản phải ngắn; /etc/sysctl.conf không còn được đọc (dùng /etc/sysctl.d/*.conf); tên NIC có thể đổi (dùng pve-network-interface-pinning trước khi nâng — bài 03 đã dùng nic0); cgroup v1 không còn hỗ trợ (container systemd ≤ 230 như CentOS 7/Ubuntu 16.04 không chạy); với root trên LVM + UEFI cài grub-efi-amd64; Veeam cần ghim machine version; PBS cài chung phải theo hướng dẫn PBS 3→4
RollbackWiki không có quy trình rollback tại chỗ: đường lui là cài mới + restore từ PBS. Vì vậy chỉ nâng sau khi đã diễn tập trên staging
10

Kernel pinning và rollback

Quản lý kernel bằng proxmox-boot-tool (pve-docs, chương Host Bootloader) · Reboot thử có đường lui (khuyến nghị cho kernel mới từ repo ít kiểm thử) · Bảng quyết định rollback

10.1 Quản lý kernel bằng proxmox-boot-tool (pve-docs, chương Host Bootloader)

proxmox-boot-tool status                 # cấu hình có đang dùng proxmox-boot-tool không (dấu hiệu bootloader)
proxmox-boot-tool kernel list            # các kernel đang được chọn để boot
uname -r                                 # kernel đang chạy
proxmox-boot-tool kernel pin 7.0.14-4-pve              # ghim vĩnh viễn một phiên bản (ví dụ minh họa)
proxmox-boot-tool kernel pin 7.0.14-4-pve --next-boot  # chỉ cho LẦN BOOT KẾ TIẾP
proxmox-boot-tool kernel unpin                         # bỏ ghim (unpin --next-boot: bỏ ghim next-boot)
proxmox-boot-tool refresh                              # cần sau khi tự thêm/bớt kernel hoặc đổi kernel cmdline
Terminal node4: proxmox-boot-tool status và kernel list hiện kernel đang chạy cùng các kernel dự phòng; uname -r khớp với phiên bản kernel đã ghim hoặc mới nhất.
Terminal node4: proxmox-boot-tool status và kernel list hiện kernel đang chạy cùng các kernel dự phòng; uname -r khớp với phiên bản kernel đã ghim hoặc mới nhất.

Mặc định bộ chọn giữ kernel đang chạy, kernel mới vừa cài và hai kernel mới nhất đã cài, cùng các kernel chọn tay (kernel add/kernel remove). Xem bootloader chắc chắn nhất: efibootmgr -v (báo "EFI variables are not supported" nghĩa là GRUB legacy/BIOS).

Giữ kernel cũ: apt autoremove có thể gỡ kernel trước đó ngay sau khi bạn đã reboot vào kernel mới — mất đường lui. Trước khi autoremove, đánh dấu kernel cần giữ: apt-mark manual proxmox-kernel-<phiên-bản>-pve-signed (tên gói đúng xem bằng apt list --installed 'proxmox-kernel-*'), và chỉ dọn sau khi kernel mới đã chạy ổn qua một vòng cập nhật.

10.2 Reboot thử có đường lui (khuyến nghị cho kernel mới từ repo ít kiểm thử)

Cách này dùng cho node có BMC (IPMI/iDRAC) để power-cycle khi kernel mới không boot:

proxmox-boot-tool kernel pin "$(uname -r)"                 # 1) ghim kernel ĐANG chạy tốt làm mặc định
proxmox-boot-tool kernel pin <kernel-mới> --next-boot      # 2) chỉ lần boot kế tiếp vào kernel mới
proxmox-boot-tool refresh
systemctl reboot
# Nếu kernel mới treo: power-cycle qua BMC -> tự về kernel đã ghim.
# Nếu ổn sau postcheck + vài giờ theo dõi:
proxmox-boot-tool kernel unpin                              # trở lại mặc định (kernel mới nhất)

Cần kiểm lại trên máy thật: hành vi --next-boot với từng bootloader (GRUB hay systemd-boot); diễn đàn có báo cáo pin "không có tác dụng" trên một số cấu hình GRUB + ZFS root, nên luôn xác nhận bằng uname -r sau reboot. Báo cáo cộng đồng (diễn đàn, 07/2026, PVE 9.2.4) về kernel mới không nạp được trên máy legacy BIOS có root LV rất lớn trong khi máy UEFI vẫn bình thường là ví dụ vì sao vòng 0 (staging/canary) phải có phần cứng giống production.

10.3 Bảng quyết định rollback

Tình huống sau cập nhậtHành động
Kernel mới không boot / treoConsole BMC → chọn kernel cũ ở menu GRUB (Advanced options) hoặc power-cycle khi đã pin (10.2); sau đó kernel pin <cũ> và báo lỗi cho vòng sau
Kernel mới chạy nhưng NIC/driver lỗi, mất mạngConsole → boot kernel cũ; kiểm tra tên NIC (ip -br link), pve-network-interface-pinning
Gói (QEMU, libc, ...) gây lỗigrep -B1 -A4 "Start-Date: $(date +%F)" /var/log/apt/history.log lấy dòng Upgrade: pkg (cũ, mới); apt install pkg=<phiên-bản-cũ> nếu apt còn thấy bản đó (chỉ có trong cache /var/cache/apt/archives hoặc kho); apt-mark hold pkg để không bị nâng lại; gỡ hold khi có bản sửa
Ceph sau nâng release lỗi nặngKhông hạ cấp được; dừng các node chưa nâng ở trạng thái hiện tại, cô lập, khôi phục VM từ PBS nếu cần (bài 04, 11)
Node hỏng hẳnĐưa guest sang node khác (HA tự làm), cài lại node bằng ISO, pvecm delnode + join lại với cùng tên/IP, tạo lại MON/MGR/OSD — xem bài 11
Muốn tạm ngừng HA khi sửa mạng clusterha-manager crm-command disarm-ha freeze rồi arm-ha khi xong (mục 1.1; không dùng khi đang cập nhật gói)
Mẹo: ghi lại pveversion -v trước/sau mỗi vòng (mục 4.4). Có sẵn danh sách "cũ → mới" giúp rollback chính xác và giúp báo lỗi lên diễn đàn/bugzilla của Proxmox kèm bằng chứng.
11

Lịch, cửa sổ bảo trì và thông báo

LoạiTần suấtCửa sổGhi chú
Cập nhật thường kỳ PVE + DebianHằng tháng (vòng 0 → 1 → 2 theo mục 3.2)Vòng 2: thứ Ba 19:00–21:30Kết thúc trước job backup 22:00 của bài 04
Bản vá bảo mật khẩn (CVE bị khai thác)Ngay khi có, theo "vá khẩn" ở mục 3.2Ngoài lịch, có phê duyệtRút ngắn soak, không bỏ preflight/backup
Bản vá CephKhi upstream/Proxmox ra bản mới có CVENhư cập nhật thường kỳĐọc ghi chú phát hành và mục 8.5
Nâng phiên bản lớn (PVE major, Ceph release)1–2 lần/năm, lập dự án riêngCuối tuần, 1 ngày làm việc dự phòngDiễn tập staging trước

Quản lý thay đổi: mỗi lần chạy vòng 2 cần một ticket thay đổi (phạm vi, thời gian, người thực hiện, người phê duyệt, kế hoạch rollback ở mục 10, tiêu chí dừng). Tránh cửa sổ chốt sổ cuối tháng/quý, ngày có đợt backup hoặc migration lớn, và lúc Ceph đang recovery/backfill; nếu có đóng băng thay đổi (change freeze) thì chỉ vá khẩn mới được ngoại lệ.

Không để node PVE tự cài/tự reboot: nếu bài 05 bật unattended-upgrades thì chỉ cho nguồn Debian-Security, tắt Automatic-Reboot và loại trừ các gói Proxmox/Ceph/corosync/QEMU/kernel khỏi cập nhật tự động (cần kiểm lại cấu hình trên máy thật). Việc cập nhật gói Proxmox luôn đi qua quy trình ở bài này.

Tránh chồng lịch của lab: backup 22:00 (PBS), sync Primary → DR 00:30–01:00, prune 03:00, GC chủ nhật 05:00, verify thứ Bảy 08:00 (bài 04). Bài này không thêm job định kỳ nào; nếu bạn tự thêm (ví dụ chạy --tags preflight hằng ngày từ ops01 để phát hiện lệch cấu hình), đặt ở 05:15 để không chồng các mốc trên.

Thông báo — PVE tự kiểm tra gói mới mỗi ngày và gửi mail cho root@pam; sự kiện package-updates cũng có thể định tuyến qua hệ thống Notifications (matcher/target, chi tiết ở bài 10). Thông báo con người cho cửa sổ bảo trì (dùng Mattermost bài 37 hoặc Gotify bài 15 — làm sau; tạm thời dùng email/SMTP ngoài):

notify() {   # $1 = nội dung; đặt MATTERMOST_WEBHOOK_URL trong môi trường, KHÔNG ghi vào script/tài liệu
  curl -fsS -X POST -H 'Content-Type: application/json' \
       -d "$(jq -n --arg t "$1" '{text:$t}')" "${MATTERMOST_WEBHOOK_URL:?chưa đặt}"
}
notify "[PVE] Bảo trì HOATRANHUB thứ Ba 19:00–21:30: cập nhật cuốn chiếu từng node, guest HA sẽ live-migrate (gián đoạn mạng < 1 giây)."

Mẫu thông điệp: T−3 ngày (kế hoạch, phạm vi, người liên hệ), T−1 giờ (nhắc, preflight đã xanh), Bắt đầu (node đầu tiên), Từng node xong (phiên bản mới, Ceph ổn), Kết thúc (kết quả, sự cố nếu có), Sự cố (dừng lại, đang rollback, ETA).

12

Thứ tự cập nhật các thành phần liên quan

  1. PBS-DR (pbsdr01) → PBS Primary (pbs01) → PDM (pdm01) → PVE, theo mục 11.4 của bài 04. Không cập nhật khi đang Backup/GC/Sync; kiểm tra proxmox-backup-manager task list sau khi nâng.
  2. PBS/PDM không nằm trong job vzdump của chính nó — sao lưu cấu hình trước (tar czf /root/pbs-config-$(date +%F).tgz /etc/proxmox-backup, bài 04 mục 11.3).
  3. Cập nhật PBS/PDM: apt update && apt full-upgrade (repo pbs-no-subscription / pdm-no-subscription đã cấu hình ở bài 04); sau đó proxmox-backup-manager versions.
  4. Sau khi nâng PVE, kiểm tra storage pbs-primary vẫn active (pvesm status) và chạy một backup thử; nếu fingerprint PBS đổi (đổi chứng chỉ) thì cập nhật lại ở PVE/Remote/PDM.
  5. PDM: sau khi các remote đã cập nhật, kiểm tra panel tổng quan cập nhật (Remotes → Updates, PDM ≥ 1.0 — cần kiểm lại trên máy thật) để xác nhận không còn node lệch phiên bản.
  6. Guest OS (Ubuntu 24.04 và các VM khác) cập nhật riêng theo từng bài/template (bài 07), không gộp vào cửa sổ cập nhật host.
13

Troubleshooting

Triệu chứngNguyên nhânCách xử lý
node-maintenance enable không có tác dụng, LRM không vào maintenanceChưa có HA resource nào trên node; CRM master chưa nhận lệnh; có báo cáo diễn đàn trên 9.1.4/9.2.18 chưa có kết luậnha-manager status; journalctl -u pve-ha-crm -u pve-ha-lrm -e trên master; dùng cách dự phòng: ha-manager crm-command migrate vm:<id> <node> từng dịch vụ, hoặc qm migrate. Báo lỗi lên Proxmox kèm pveversion -v
Maintenance bật nhưng một số guest HA vẫn đứng yênRule node-affinity strict không còn node hợp lệ; dịch vụ ở trạng thái stopped; hết max_relocate/node đích thiếu tài nguyênXem rule bằng ha-manager rules list; tạm sửa rule (--strict 0); dịch vụ stopped không cần chuyển; xem ha-manager status
qm migrate lỗi với VM cụ thểISO local gắn vào CD-ROM; hostpci/USB passthrough; đĩa trên storage local; CPU host khác flag giữa node; VM bật VNC clipboard với QEMU < 10.1Gỡ ISO (qm set <id> --ide2 none,media=cdrom); dùng migrate offline cho VM passthrough; kiểm qm config <id>; đồng nhất CPU type
apt full-upgrade treo ở trigger của pve-ha-managerHA đang bị disarm trong lúc còn migration (known issue 9.2)Giữ HA armed khi cập nhật gói; ha-manager crm-command arm-ha thì apt tự chạy tiếp
apt update lỗi 401 từ enterprise.proxmox.comCòn file nguồn enterprise (PVE hoặc Ceph)Mục 3.1: vô hiệu hóa file enterprise, giữ proxmox.sources và ceph.sources no-subscription
apt đòi gỡ proxmox-ve hoặc báo "attempting to remove the meta-package"Thiếu repo cho suite hiện tại / lẫn bookworm với trixieSửa repo (mục 3.1), apt -f install; không xác nhận gỡ
Sau reboot node không về quorumMạng corosync (VLAN/MTU/tên NIC đổi theo kernel mới), thời gian lệchConsole BMC: ip -br link, journalctl -u corosync -b, chronyc tracking; boot kernel cũ (mục 10)
Sau khi node lên, VM không được trả vềQuên node-maintenance disable (trạng thái này không tự xóa khi reboot)ha-manager crm-command node-maintenance disable <node>; kiểm ha-manager status
Ceph HEALTH_WARN kéo dài sau cập nhậtCòn cờ noout/norebalance; OSD chưa lên; PG đang peering/backfillceph health detail, ceph osd dump | grep flags; ceph osd unset noout; systemctl status ceph-osd@<id>; chờ active+clean
HEALTH_ERR với AUTH_INSECURE_* sau nâng 20.2.4+Cipher khóa cephx cũMục 8.5; không --force; có thể ceph health mute … 2w tạm thời
Giao diện web trắng/lỗi sau cập nhậtCache trình duyệt; hook "no-nag" bài 02 sửa proxmoxlib.js lệch phiên bảnCtrl+F5; gỡ hook (mục 3.1) và apt reinstall proxmox-widget-toolkit; systemctl restart pveproxy
VM vẫn chạy QEMU cũ sau khi cập nhậtTiến trình QEMU không đổi cho tới khi dừng/khởi động hoặc live-migrateMigrate sang node đã cập nhật hoặc dừng/khởi động (không chỉ reboot trong guest); kiểm bằng pveversion -v | grep pve-qemu-kvm và qm status <id> --verbose (trường phiên bản đang chạy, cần kiểm lại trên máy thật)
Hết dung lượng / hoặc /boot khi cập nhậtNhiều kernel cũ, cache aptapt clean; dọn kernel cũ sau khi đã giữ lại một kernel dự phòng (mục 10.1)
Playbook dừng giữa chừngany_errors_fatal sau lỗi drain/postcheck/ceph-waitNode đang ở maintenance và cờ Ceph còn: sửa lỗi, pve-rolling.sh undrain, chạy lại cho node còn lại, cuối cùng flags-unset
14

Checklist nghiệm thu

  • Mỗi node chỉ có nguồn pve-no-subscription và (nếu có Ceph) ceph-tentacle no-subscription; không còn enterprise, không pve-test (apt-get indextargets)
  • Đã gỡ hook no-nag-script ở bài 02 (nếu từng cài) và giao diện web không lỗi sau cập nhật
  • Có staging (cluster ảo 3 node hoặc node canary) và đã chạy trọn quy trình ở đó trước production
  • pve-rolling.sh đã cài trên các node, preflight xanh trên cluster khỏe
  • Biết số phiếu/quorum của cluster; cân nhắc QDevice cho cluster số node chẵn
  • Backup PBS ≤ 36 giờ và đã verify; VM nền tảng (247, 242, 234, 250, 246) có bản backup trước cửa sổ bảo trì
  • Đã sao lưu cấu hình /etc/pve, /etc/network, /etc/apt và lưu pveversion -v trước khi cập nhật
  • Có đường vào console BMC cho mọi node vật lý
  • Cờ Ceph noout + norebalance đặt trước và đã gỡ sau (kiểm ceph osd dump | grep flags)
  • Mỗi node: HA maintenance bật → guest rời node (HA và không-HA) → cập nhật → reboot → postcheck → maintenance tắt
  • Sau mỗi node: pvecm status đủ phiếu, ceph -s PG active+clean, systemctl --failed rỗng
  • Không bao giờ cập nhật 2 node cùng lúc trong một cluster
  • Mọi node cuối cùng cùng pve-manager và cùng kernel; không còn node ở maintenance mode
  • ceph versions chỉ còn một phiên bản; (nâng release) require_osd_release = đúng release mới
  • Nếu có cảnh báo AUTH_INSECURE_*: đã làm theo quy trình di chuyển khóa cephx; kernel ≥ 7.0 trên node có container RBD/CephFS kernel mount
  • Giữ lại ít nhất một kernel cũ; đã thử proxmox-boot-tool kernel pin/unpin trên node canary
  • Đã thử rollback gói (apt history + apt install pkg=ver) trên staging
  • Thông báo trước/sau bảo trì đã gửi; biên bản ghi phiên bản cũ → mới
  • Đã nhẩm lại thời gian thực tế mỗi node để cập nhật cửa sổ bảo trì
  • Thứ tự PBS-DR → PBS → PDM → PVE được tuân thủ; pbs-primary còn active sau khi nâng; backup thử thành công
  • Với > ~30 node: đã chia cluster, có sóng canary → 10% → 50% → 100%
15

Tài liệu tham khảo

Proxmox VE (chính thức)

Proxmox forum / thông báo

Ceph

PBS / PDM

Công cụ

Zalo