System & Network Runbook sự cố
Bài 11 · Giai đoạn 1 — Vận hành & Bảo mật Proxmox

Runbook sự cố Node · OSD · Quorum · PG

Thay node hỏng, thay OSD, khôi phục quorum, đo hiệu năng và chỉnh Ceph PG.

Giai đoạn: Vận hành & Bảo mật Proxmox

Bối cảnh & Lý do triển khai

Vị trí trong chuỗi bài: Bài 11 thuộc Giai đoạn 1 — Vận hành & Bảo mật Proxmox, nối tiếp Bài 10. Notify · SMART · UPS và đứng trước Bài 12. Pi-hole DNS.
Mức độ cần thiết: 🔴 Rất quan trọng — Sự cố hạ tầng chắc chắn xảy ra; runbook đã viết sẵn và đã diễn tập quyết định việc mất 5 phút hay mất 5 giờ (và có mất dữ liệu hay không)

Cluster HOATRANHUB (bài 03) chịu được một node hỏng nhờ Corosync, Ceph và HA Manager, nhưng "chịu được" chỉ đúng khi người trực biết bước tiếp theo: node nào đã thật sự chết, VM nào HA đã tự dựng lại, VM nào phải xử lý tay, có được phép thay đĩa ngay không, vì sao HEALTH_WARN này an toàn còn HEALTH_WARN kia thì không. Bài 02–04 dựng hạ tầng và backup, bài 05–10 phòng thủ, cập nhật và giám sát; bài này là phần còn lại: khi mọi thứ đã sai thì làm gì, theo thứ tự nào, và lệnh nào tuyệt đối không được gõ khi chưa hiểu hậu quả.

Mỗi runbook theo cùng một khuôn Triệu chứng → Chẩn đoán → Hành động → Xác minh → Phòng ngừa, có mức độ P1–P4, RTO/RPO ví dụ và khối cảnh báo cho thao tác nguy hiểm. Bài viết cho cả hai nhóm người đọc: người trực chỉ cần mở đúng mục và làm theo từng bước, và người thiết kế muốn biết điểm yếu của hạ tầng trước khi sự cố xảy ra (mục 1.5).

Bài này chứa lệnh có thể làm mất dữ liệu hoặc gây split-brain: pvecm expected, ceph osd purge, pveceph osd destroy --cleanup, qmrestore --force, di chuyển file cấu hình VM giữa các node, nâng ngưỡng full-ratio. Mỗi lệnh loại này có khối NGUY HIỂM đi kèm điều kiện tiên quyết. Luyện tập trên cluster thử nghiệm theo mục 12, không học trên production.
MụcNội dung
Ứng dụng trong DNSổ tay cho người trực: xử lý node hỏng, đĩa OSD hỏng, mất quorum, HA fence, Ceph đầy/PG bất thường, PBS đầy, lệch giờ, đứt mạng Corosync; khôi phục VM từ PBS và DR site phụ; đo hiệu năng lập baseline; mẫu thông báo sự cố và post-mortem
Tác dụng chínhRút ngắn thời gian chẩn đoán (bộ lệnh 60 giây đầu tiên), tránh thao tác sai làm tình hình tệ hơn, chuẩn hoá mức độ P1–P4 với RTO/RPO, cho phép nhiều người trực xử lý cùng một cách
Nếu không triển khaiMỗi sự cố là lần đầu tiên; dễ ép quorum hoặc xoá OSD sai lúc, dẫn tới split-brain hoặc mất dữ liệu; không biết hiệu năng "bình thường" là bao nhiêu nên không phân biệt được chậm hay hỏng; backup có nhưng chưa ai chứng minh khôi phục được trong thời gian cam kết
Các service phụ thuộc vào đâyToàn bộ 30 VM dịch vụ của lab (VMID 232–280) và máy quản trị: thời gian khôi phục của chúng chính là RTO của các runbook này; liên quan trực tiếp bài 03 (Cluster + Ceph + HA), bài 04 (PBS + PDM), bài 05 (Firewall), bài 06 (Cập nhật cuốn chiếu), bài 10 (Thông báo & giám sát)

Ngày cập nhật: 2026-10-15
Môi trường: HOATRANLABS – cluster HOATRANHUB (PVE 9.2, Ceph Tentacle 20.2), PBS 4.2, PDM 1.1

Danh sách máy chủ & IP liên quan

Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.

Máy chủIPVLAN · NodeVai trò trong bài này
node1 (Proxmox VE)10.11.45.21045 (MGMT) · cluster HOATRANHUBNode còn sống trong ví dụ: chạy pve-triage.sh, pvecm, ha-manager, ceph; nơi gõ lệnh dọn Ceph, delnode và đo baseline.
node2 (Proxmox VE)10.11.45.21145 (MGMT) · cluster HOATRANHUBNode cluster HOATRANHUB: đích HA/restore thử và đích kiểm tra iperf3, MTU trong ma trận đo giữa các node.
node3 (Proxmox VE)10.11.45.21245 (MGMT) · cluster HOATRANHUBNode có osd.2 (/dev/sdb) trong ví dụ thay OSD: out, safe-to-destroy, pveceph osd destroy --cleanup rồi tạo lại.
node4 (Proxmox VE)10.11.45.21345 (MGMT) · cluster HOATRANHUBNode hỏng phần cứng trong ví dụ (osd.3); chạy pbs01 và pdm01 nên mất cả công cụ backup; cài lại cùng tên/IP rồi join lại.
node5 (Proxmox VE standalone)10.100.100.20Site phụ 10.100.100.0/24 · standalonePVE standalone site phụ: đích restore từ PBS-DR khi mất site chính; nơi nên đặt máy qnetd cho QDevice của cluster.
node6 (Proxmox VE standalone)10.100.100.21Site phụ 10.100.100.0/24 · standalonePVE standalone site phụ thứ hai: đích restore chéo, dự phòng cho node5 trong runbook DR.
pbs01 (PBS Primary) · VM10110.11.45.1745 (MGMT) · node4PBS Primary (VM101): nguồn restore (pbs-primary, namespace st-20); dựng lại và gắn lại datastore khi mất; xử lý đầy bằng prune + GC.
pdm01 (Proxmox Datacenter Manager) · VM10210.11.45.1845 (MGMT) · node4PDM (VM102): quan sát tập trung nhiều cluster khi cô lập sự cố; chạy trên cluster nên cần đường vào dự phòng.
pbsdr01 (PBS DR)10.100.100.6Site phụ 10.100.100.0/24 · site phụPBS-DR site phụ: nguồn restore khi Primary mất; thêm làm storage pbs-dr trên node5 bằng token chỉ đọc, tắt Sync Job trước.
syno-primary (Synology NAS)10.11.45.1645 (MGMT) · NASNAS chính chứa datastore syno-primary; đầy dung lượng hoặc mất NAS là kịch bản P2/P1 (mục 8.4, 9.2).
pihole (Pi-hole DNS) · VM24710.11.45.5345 (MGMT) · node3DNS nội bộ, dịch vụ Tier 0 restore đầu tiên khi DR; DNS chậm làm sai số đo DNS EXT/INT của pveperf.
dc1 (Samba AD DC + FreeRADIUS) · VM25010.11.65.5065 (SRV) · node1Samba AD DC, Tier 0 restore thứ hai khi DR (DNS thẩm quyền, Kerberos, LDAP); DC duy nhất nên restore không gây USN rollback.
step-ca (step-CA PKI) · VM24210.11.25.4225 (SEC) · node1CA nội bộ, Tier 0 restore thứ ba khi DR; kiểm tra bằng /health sau khi lên (cổng 9000).
FortiGate (firewall)10.100.100.1Quản trị 10.100.100.0/24 · thiết bị mạngGateway các VLAN: MTU và định tuyến sang site phụ ảnh hưởng đo jumbo và kế hoạch IP khi chạy DR.

Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Máy quản trị Ansible (bài 07) chỉ chạy lệnh thu thập chỉ-đọc ở mục 10.3, và máy qnetd (QDevice) ở mục 4.5 nằm ngoài cluster nên không liệt kê riêng.

Tổng quan

Quy mô triển khai (1 node → hàng trăm node) · Công cụ & chi phí

Bài không cài thêm dịch vụ nào lên cluster. Phần lõi chỉ cần bài 01–04; các tham chiếu tới bài 05–10 (firewall, cập nhật, cảnh báo) chỉ là liên kết để biết nên phòng ngừa ở đâu, không phải điều kiện để chạy các lệnh trong bài.

Thông sốGiá trị
Phiên bản PVE9.2.x (Debian 13)
CephTentacle 20.2.x
Cluster ví dụHOATRANHUB, 4 node
Pool VMvm-ceph (size 3, min 2)
Storage backuppbs-primary (PBS 4.2)
Mức độ sự cốP1 – P4
Công cụ chínhpvecm, ha-manager, ceph
Quy mô áp dụng1 node đến hàng trăm node
Thời gian diễn tập3–4 giờ mỗi quý
Điều kiện tiên quyếtBài 01–04

Phiên bản phần mềm sử dụng (lệnh và hành vi được đối chiếu với tài liệu chính thức ngày 2026-10-15):

Thành phầnPhiên bảnGhi chú
Proxmox VE9.2.x (lab: 9.2.20)HA dùng rules (node-affinity, resource-affinity) thay groups; có ha-manager crm-command disarm-ha / arm-ha và node-maintenance (mục 5)
Debian13 "trixie"Nền của PVE 9; mọi công cụ đo dưới đây lấy từ repo Debian 13
CephTentacle 20.2.x (lab: 20.2.4-pve4)pveceph install --version tentacle; bộ lập lịch mClock quyết định tốc độ recovery (mục 6.5)
Corosync (knet)corosync 3.xUDP 5405–5412; corosync -v để biết bản chính xác trên máy
Proxmox Backup Server / Datacenter Manager4.2 / 1.1Theo bài 04
Công cụ đo và chẩn đoánfio 3.39, iperf3 3.18, smartmontools 7.4, sysstat 12.7, corosync-qnetd và corosync-qdevice 3.0.3Gói Debian 13 "trixie" (tra trên packages.debian.org ngày 2026-10-15); cài bằng apt install, bản chính xác xem apt policy

Quy mô triển khai (1 node → hàng trăm node)

Quy môĐặc điểm sự cốRunbook áp dụngLưu ý
1 node standalone (như node5, node6)Không quorum, không HA: node hỏng là mất dịch vụ cho tới khi sửa phần cứng hoặc khôi phục sang máy khácMục 8 (PBS), 9.3–9.4, 7RTO = thời gian thay phần cứng + thời gian restore. Backup phải nằm ngoài node (PBS/NAS khác); sao lưu cấu hình node (mục 2.6) là bắt buộc
2–3 node2 node cần QDevice để có quorum khi mất 1 node; 3 node chịu được đúng 1 node chết; Ceph size=3 cần ≥ 3 hostMục 2–6, 8Không đặt min_size=1. Mất 1 node là đã hết dự phòng, thay ngay
Cluster 4 – ~30 node (HOATRANHUB là ví dụ)Đủ các kịch bản trong bài; số lẻ MON (3 hoặc 5), QDevice nếu số node chẵnToàn bộ bàiTách mạng Corosync khỏi mạng Ceph/migration (mục 1.5, 9.5)
> ~30 nodeMột cluster lớn khó chẩn đoán và blast radius lớn; chia nhiều cluster theo phòng/rack/ứng dụngMục 10Không có giới hạn cứng trong tài liệu Proxmox (có báo cáo cluster > 50 node); "~30" là khuyến nghị thực tế của bài. Quản lý tập trung bằng PDM (bài 04), tự động hoá Ansible/OpenTofu (bài 07)

Công cụ & chi phí

Mọi công cụ trong bài đều miễn phí: bộ lệnh có sẵn của Proxmox/Ceph (pvecm, ha-manager, pveceph, ceph, rados, rbd), fio, iperf3, smartmontools, chrony, PDM, Ansible. Không có subscription nghĩa là không có ticket hỗ trợ của Proxmox: kênh hỗ trợ là diễn đàn Proxmox, tài liệu chính thức và danh sách ceph-users. Nếu SLA của doanh nghiệp đòi hỗ trợ có cam kết thời gian, đó là lúc cân nhắc gói trả phí có ticket hoặc hợp đồng với đối tác (kiểm bảng giá trên shop.proxmox.com); về mặt kỹ thuật không bài nào ở đây cần trả phí.

01

Khung vận hành sự cố

Ma trận mức độ P1–P4 · RTO/RPO ví dụ theo lớp dịch vụ · Quy trình chuẩn và quy tắc vàng

1.1 Ma trận mức độ P1–P4

MứcĐịnh nghĩaVí dụ trong labPhản hồiMục tiêu khôi phục
P1 — Nghiêm trọngMất dịch vụ production diện rộng, hoặc có nguy cơ mất/hỏng dữ liệuCluster mất quorum (mục 4); Ceph HEALTH_ERR, PG inactive, OSD full (9.1); nghi ngờ VM chạy hai nơi (mục 5); nhiều node chết cùng lúc≤ 15 phút, mọi giờDịch vụ lõi (Tier 0–1) trở lại ≤ 1–4 giờ
P2 — CaoMất dự phòng hoặc suy giảm đáng kể, dịch vụ vẫn chạy1 node chết (HA đã dựng lại VM) (mục 2); 1 OSD down/hỏng (mục 3); PBS đầy hoặc sync DR lỗi > 24 giờ (9.2)≤ 1 giờKhôi phục dự phòng ≤ 1 ngày làm việc
P3 — Trung bìnhCảnh báo sớm, chưa ảnh hưởng người dùngCeph nearfull; SMART có thuộc tính pre-fail; lệch giờ; 1 job backup lỗi; POOL_TARGET_SIZE_RATIO_OVERCOMMITTEDTrong ngày làm việc≤ 3–5 ngày làm việc
P4 — ThấpThông tin, dọn dẹp, tối ưuCrash cũ chưa archive; cảnh báo cert sắp hết hạn > 14 ngày; so sánh baseline hiệu năngTuần sauTheo lịch bảo trì

Nguyên tắc nâng mức: một sự cố P2 trở thành P1 nếu dự phòng còn lại bằng 0 (ví dụ đã mất 1 node và đang có thêm 1 OSD hỏng), hoặc nếu không chắc nguyên nhân sau 30 phút. Hạ mức chỉ khi đã xác minh bằng lệnh, không dựa vào cảm giác.

1.2 RTO/RPO ví dụ theo lớp dịch vụ

Bảng là ví dụ để hiệu chỉnh theo SLA của bạn; số "đo được" phải lấy từ bài kiểm tra khôi phục (mục 8.3, 12).

LớpDịch vụ trong labRTO ví dụRPO ví dụCơ chế đạt được
Tier 0 (nền tảng)pihole (DNS), dc1 (Samba AD DC), step-ca1 giờ24 giờHA tự dựng lại khi node chết (~2 phút + thời gian boot); nếu mất cả cluster: restore từ PBS theo thứ tự mục 8.5
Tier 1 (vận hành)Authentik, Prometheus/Grafana, Mailu, Wazuh, Vault4 giờ24 giờHA hoặc restore từ pbs-primary
Tier 2 (dev/ứng dụng)Gitea, Harbor, Nexus, SonarQube, K3s, SeaweedFS S324 giờ24 giờRestore từ PBS, ưu tiên theo nhu cầu
Hạ tầng backuppbs01, pdm018 giờcấu hình: 24 giờDựng lại VM, gắn lại datastore có sẵn trên NAS (bài 04, mục 11.3)
Sự cố 1 node, VM trong HAmọi VM đã ha-manager add≈ 2–5 phút0 (đĩa trên Ceph); RAM của VM mất, tương đương mất điện đột ngộtFence + khởi động lại VM trên node khác (tài liệu HA: phát hiện và failover thường khoảng 2 phút)
Mất cả site chínhtoàn bộ4–8 giờ cho Tier 0–1≤ 24–48 giờ (backup 22:00 + sync sang DR)Restore từ pbs-dr lên node5/node6 (mục 8.5, bài 04 mục 11.2)

1.3 Quy trình chuẩn và quy tắc vàng

Mọi sự cố đi qua 7 bước; đừng nhảy cóc sang "Hành động" khi chưa xong "Chẩn đoán".

  1. Phát hiện: cảnh báo (bài 10), người dùng báo, hoặc tự thấy. Ghi giờ phát hiện (múi giờ Asia/Ho_Chi_Minh).
  2. Phân loại: gán P1–P4 theo mục 1.1; P1/P2 thì mở kênh sự cố và thông báo (mục 11).
  3. Ổn định: ngăn tình hình xấu đi (dừng job backup đang chạy, tạm dừng thay đổi/Ansible, không reboot hàng loạt) trước khi sửa.
  4. Chẩn đoán: chạy bộ lệnh chỉ-đọc (mục 1.4), xác định phạm vi: một VM, một node, một switch, cả cluster?
  5. Hành động: theo runbook tương ứng, từng bước một, ghi lại từng lệnh đã gõ.
  6. Xác minh: đúng các lệnh "kỳ vọng" ở cuối mỗi runbook; cluster HEALTH_OK, quorum đủ, HA không còn error.
  7. Đóng và rút kinh nghiệm: thông báo kết thúc, post-mortem trong 5 ngày làm việc (mục 11.3).

Quy tắc vàng:

  • Đọc trước khi ghi. Mọi lệnh chẩn đoán phải chỉ-đọc; lệnh thay đổi chỉ chạy sau khi đã nói to nó làm gì và hậu quả khi sai.
  • Hai người cho P1: một người thao tác, một người đọc lại lệnh và ghi nhật ký. Một người cho P2–P4 cũng phải ghi lại lệnh vào ticket/kênh sự cố.
  • Không làm hai việc phá hoại cùng lúc (không thay hai OSD, không reboot hai node, không gỡ node khi Ceph đang rebuild).
  • Sao lưu trước khi đổi cấu hình cluster: /etc/pve (mục 2.6) và, với đổi lớn, snapshot/backup VM liên quan (bài 06).
  • Node "có vẻ chết" chưa chắc đã chết. Chỉ xử lý như đã chết khi đã tắt nguồn qua IPMI/iDRAC hoặc rút cáp (fencing thủ công).
  • Không kill, systemctl stop các dịch vụ pve-ha-crm, pve-ha-lrm, watchdog-mux: tài liệu HA cảnh báo làm vậy có thể khiến node reset ngay lập tức.

1.4 Bộ lệnh 60 giây đầu tiên

Lưu thành /usr/local/sbin/pve-triage.sh trên mọi node (nên đưa vào Ansible, bài 07). Script chỉ đọc, có timeout vì khi Ceph mất quorum MON thì ceph -s có thể treo vô hạn.

#!/usr/bin/env bash
# pve-triage.sh — thu thập trạng thái ban đầu của một node PVE (CHỈ ĐỌC)
set -uo pipefail
DIR=/root/triage
OUT="$DIR/$(hostname)-$(date +%F_%H%M%S).txt"
mkdir -p "$DIR"

run() {   # chạy một lệnh, giới hạn 20 giây, không dừng script khi lệnh lỗi
  echo; echo "### $*"
  timeout 20 "$@" 2>&1 || echo "(lệnh trả mã $? hoặc quá 20 giây)"
}

{
  echo "Thu thập lúc $(date -Is) trên $(hostname)"
  run pveversion
  run pvecm status
  run pvecm nodes
  run corosync-cfgtool -s
  run ha-manager status
  run ceph -s
  run ceph health detail
  run ceph osd tree
  run pvesm status
  run systemctl --failed --no-pager
  run chronyc tracking
  run df -hT /  /var/lib/vz /etc/pve
  run journalctl -p err -b --no-pager -n 40
} | tee "$OUT"
echo; echo "Đã lưu: $OUT"
chmod 750 /usr/local/sbin/pve-triage.sh
/usr/local/sbin/pve-triage.sh | less -R

Đọc kết quả theo thứ tự này (đa số sự cố lộ ra trong 60 giây):

Dòng cần nhìnKỳ vọng khoẻNếu khác thì đi tới
pvecm status → Quorate: và Total votesYes, 4/4Mục 4 (mất quorum) hoặc mục 2 (thiếu node)
corosync-cfgtool -smọi link connectedMục 9.5 (đứt mạng/MTU)
ha-manager statusquorum OK, CRM/LRM active/idle, dịch vụ startedMục 5 (fence, error)
ceph -s → health:HEALTH_OK, mọi PG active+cleanHEALTH_WARN: mục 3 (OSD), mục 6 (PG), mục 9.1 (đầy); HEALTH_ERR: P1
ceph osd treemọi OSD upMục 3
chronyc trackingLeap status : Normal, độ lệch < 0,05 giâyMục 9.4
df -hTkhông có mount > 85%Dọn dẹp, mục 9.1/9.2

1.5 Điểm yếu của lab hiện tại (đọc trước khi sự cố đến)

Các điểm dưới đây rút ra từ cấu hình thật ở bài 03; chúng giải thích vì sao nhiều runbook trong bài có mức P1.

Điểm yếuHậu quả khi sự cốCải thiện (từ rẻ nhất)
Quorum 3/4: bảng quorum ở bài 03 ghi "mất 2 node vẫn OK" nhưng chính bài đó hiển thị Quorum 3 ở bước 3.3; với 4 phiếu, mất 2 node là mất quorumMất 2 node (hoặc chia 2–2 do switch lỗi) → /etc/pve chỉ đọc, các node đang chạy HA tự reboot sau ~60 giây (mục 5)Thêm QDevice (5 phiếu, chịu mất 2 node), mục 4.5; hoặc tăng lên 5 node
4 MON (node1–node4)Quorum MON cũng cần 3/4: mất 2 node thì Ceph đóng băng I/O dù Corosync có được "ép" quorum hay khôngGiảm còn 3 MON trên node1–node3 như bài 03 khuyến nghị: pveceph mon destroy node4 (khi cluster đang khoẻ)
Một NIC, một mạng 10.11.45.0/24 cho Corosync + Ceph public/cluster + migration + VM + quản trịBackfill hoặc migration chiếm băng thông làm token Corosync trễ → link flap, fence oanCorosync có link thứ hai trên NIC/switch riêng (VLAN 85 trên cùng NIC chỉ tách logic, không chống được đứt cáp hay NIC chết); Ceph cluster_network tách; giới hạn băng thông migration/backfill (mục 6.5, 9.5)
Watchdog softdogNếu kernel treo hẳn, softdog cũng treo → node không tự reset, HA không fence đượcDùng watchdog phần cứng (iTCO_wdt, IPMI) — mục 5.4
Hai tầng Ceph, mỗi tầng 1 OSD/node (4 OSD SSD ~200 GB cho vm-ceph, 4 OSD HDD ~250 GB cho vm-bulk; bài 07 mục 8.4)Mất 1 OSD/node thì 3 OSD còn lại cùng tầng phải nhận thêm 1/3 dữ liệu; nếu dùng > ~64% raw của tầng đó sẽ chạm nearfull khi rebuild; tầng SSD nhỏ (usable ≈ 266 GB) đầy trướcGiữ dung lượng raw đã dùng của TỪNG tầng ≤ 60%, thêm OSD cùng class (bài 03 mục 7.6, bài 07 mục 8.5); công thức ở mục 9.1
pbs01, pdm01 chạy trên chính cluster (VM101/VM102 trên node4)Sự cố cả cluster làm mất luôn công cụ khôi phụcBài 04 đã có sẵn đường dựng lại; giữ bản sao cấu hình PBS ngoài cluster (bài 04, mục 11.3) và thử dựng lại (mục 12)
Cấu hình từng node nằm ngoài /etc/pve (network, hosts, sshd, chrony, smartd, softdog, cert ACME)Thay node là phải làm lại bằng tay, dễ lệch giữa các nodeSao lưu cấu hình node (mục 2.6) và áp dụng bằng Ansible
02

Runbook A — Thay node hỏng

Triệu chứng · Chẩn đoán (≈ 2 phút) · Hành động — giai đoạn 1: giữ dịch vụ chạy

Thuộc tínhGiá trị
Mức độP2 (nâng P1 nếu mất ≥ 2 node, mất quorum, hoặc Ceph có PG inactive)
RTO / RPO ví dụVM trong HA: ≈ 2–5 phút / RPO 0 (đĩa trên Ceph, RAM mất). VM không HA: 15–30 phút thao tác tay. Thay node vĩnh viễn: 4–8 giờ (cài lại + join + Ceph rebuild)
Điều kiện tiên quyếtCòn quorum (≥ 3/4 phiếu); ceph -s còn I/O; có quyền IPMI/iDRAC hoặc người ở gần máy
Ví dụ trong bàinode4 (10.11.45.213, osd.3, chạy pbs01 và pdm01) hỏng phần cứng

2.1 Triệu chứng

  • Cảnh báo "node down"/fencing (bài 10); GUI: node4 có biểu tượng đỏ, VM của node đó hiển thị ?.
  • pvecm nodes thiếu node4, pvecm status còn Total votes: 3.
  • ha-manager status có dịch vụ ở trạng thái fence rồi recovery, sau đó started trên node khác.
  • ceph -s: HEALTH_WARN với 1 osds down, 1 host (1 osds) down, Degraded data redundancy; nếu node4 có MON thì có thêm 1/4 mons down.

2.2 Chẩn đoán (≈ 2 phút)

Mục tiêu: trả lời node chết thật hay chỉ mất mạng? Nếu nhầm và xử lý như "đã chết" thì sẽ tạo ra VM chạy hai nơi.

# Trên một node còn sống (node1)
ping -c 2 -W 1 10.11.45.213          # có trả lời không?
ssh -o ConnectTimeout=5 root@node4 hostname
pvecm status | grep -E 'Quorate|Expected|Total votes|Quorum'
ha-manager status
ceph -s
ceph osd tree down                   # chỉ liệt kê OSD đang down
Quan sátKết luậnĐi tới
Không ping, IPMI/iDRAC báo máy tắt hoặc treoNode hỏng thậtMục 2.3
Ping được, SSH được, nhưng Corosync báo node4 disconnectedLỗi mạng/Corosync, không phải node chếtMục 9.5, đừng delnode
Ping được, GUI node4 vẫn lên, các node khác thấy đỏLỗi dịch vụ pve-cluster/corosync trên node4systemctl status corosync pve-cluster trên node4
Máy bật nhưng không lên OS (kernel panic, mất đĩa OS)Hỏng đĩa OS hoặc bo mạchMục 2.3, cân nhắc giữ OSD
Server View của Proxmox khi node4 mất kết nối: node4 có dấu đỏ, các VM của node4 hiển thị dấu ?, panel Datacenter → Summary báo còn 3 node online (chụp trên cluster thử nghiệm sau khi tắt nguồn node4).
Server View của Proxmox khi node4 mất kết nối: node4 có dấu đỏ, các VM của node4 hiển thị dấu ?, panel Datacenter → Summary báo còn 3 node online (chụp trên cluster thử nghiệm sau khi tắt nguồn node4).

2.3 Hành động — giai đoạn 1: giữ dịch vụ chạy

Bước 1. Xác nhận HA đã dựng lại VM. Với VM đã thêm vào HA (bài 03 mục 7), sau khi node bị fence HA Manager khởi động lại chúng ở node khác (thường sau ~2 phút).

ha-manager status
# Kỳ vọng (mẫu): service vm:245 (node2, started); không còn dịch vụ ở trạng thái fence/recovery/error
qm list                              # chạy trên từng node còn sống, đối chiếu với danh sách VM
Datacenter → HA: mục Status cho thấy quorum OK, CRM master, LRM của node4 báo mất; bảng Resources cho thấy các dịch vụ vm:ID đã chuyển sang trạng thái started trên node khác.
Datacenter → HA: mục Status cho thấy quorum OK, CRM master, LRM của node4 báo mất; bảng Resources cho thấy các dịch vụ vm:ID đã chuyển sang trạng thái started trên node khác.

Dịch vụ ở trạng thái error (ví dụ do vượt max_relocate): xem mục 5.2.

Bước 2. VM không nằm trong HA. Cấu hình của chúng vẫn nằm trong thư mục của node chết và sẽ không tự chạy lại.

ls /etc/pve/nodes/node4/qemu-server/     # VM trên node4
ls /etc/pve/nodes/node4/lxc/             # container trên node4
NGUY HIỂM — chuyển file cấu hình VM sang node khác: chỉ làm khi (1) node4 đã tắt hẳn (rút nguồn hoặc IPMI power off, không dựa vào việc "ping không thấy"); (2) mọi đĩa của VM nằm trên storage dùng chung (vm-ceph); (3) bạn là người duy nhất đang thao tác. Nếu node4 thực ra còn chạy VM đó (chỉ đứt mạng), hai bản VM sẽ ghi vào cùng một ảnh RBD và làm hỏng filesystem của VM. VM có đĩa trên storage cục bộ (local-lvm, ZFS không replicate) không dùng cách này được: phải restore từ PBS (mục 8).
# Chạy trên node đích (ví dụ node1); 245 là VMID cần chuyển
mv /etc/pve/nodes/node4/qemu-server/245.conf /etc/pve/nodes/node1/qemu-server/245.conf
qm start 245
# Sau khi node4 quay lại hoặc đã bị gỡ: thêm VM vào HA để lần sau tự phục hồi
ha-manager add vm:245 --state started --max_restart 2 --max_relocate 1

Với container tương tự: /etc/pve/nodes/node4/lxc/<CTID>.conf sang /etc/pve/nodes/node1/lxc/. Việc di chuyển file này là kỹ thuật cộng đồng phổ biến chứ không phải lệnh được tài liệu hoá của Proxmox; thử ở lab trước (mục 12).

Bước 3. Quyết định về Ceph: để rebalance hay giữ nguyên dữ liệu? Khi node mất, OSD của nó bị đánh dấu down và tự chuyển out sau 10 phút; từ lúc đó Ceph bắt đầu sao chép dữ liệu sang các OSD còn lại.

Tình huốngHành độngLý do
Sửa xong trong vài giờ (đổi PSU, RAM), OSD và đĩa OS còn nguyênceph osd set noout trước khi hết 10 phút; sửa xong rồi ceph osd unset nooutTránh rebalance rồi lại rebalance ngược; nhớ gỡ cờ, nếu quên OSD hỏng thật sẽ không bao giờ được out
Thay node vĩnh viễn, đĩa OSD hỏng hoặc mấtĐể Ceph tự rebalance; kiểm tra dung lượng ở bước dướiCần khôi phục đủ 3 bản sao
Cluster đang > 60% rawĐừng để rebalance chạy mù: xem 9.1 trước3 OSD còn lại phải nhận thêm 1/3 dữ liệu, có thể chạm backfillfull
ceph df
ceph osd df tree
# Kiểm tra nhanh: %USE của mỗi OSD còn lại * 4/3 phải < 85% (nearfull)

2.4 Hành động — giai đoạn 2: thay node vĩnh viễn

Làm lần lượt; không gộp bước. Mọi lệnh gõ trên node còn sống (node1) trừ khi ghi khác.

Bước 1. Dọn Ceph của node chết.

# osd.3 thuộc node4 (ceph osd tree). Nếu chưa có out thì đánh dấu out
ceph osd out osd.3
# Đợi Ceph tạo lại bản sao: HEALTH_OK, mọi PG active+clean (xem tiến độ bằng: watch -n10 'ceph -s')
ceph osd safe-to-destroy osd.3
# Kỳ vọng: OSD(s) 3 are safe to destroy without reducing data durability.
NGUY HIỂM — ceph osd purge: xoá OSD khỏi CRUSH map, auth và OSD map, không hoàn tác. Chỉ chạy sau khi safe-to-destroy báo an toàn. Nếu thấy Error EBUSY ... pgs currently mapped to them nghĩa là Ceph chưa sao chép xong, dừng lại và chờ.
ceph osd purge 3 --yes-i-really-mean-it
ceph mon remove node4          # chỉ khi node4 có MON; pveceph mon destroy cần node đích đang sống
ceph osd crush remove node4    # xoá bucket host rỗng
# Gỡ node4 khỏi /etc/pve/ceph.conf (mon_host và mọi mục [mon.node4]); sao lưu file trước
cp /etc/pve/ceph.conf /root/ceph.conf.$(date +%F)
grep -nE 'mon_host|\[mon\.' /etc/pve/ceph.conf
ceph -s

Bước 2. Gỡ node khỏi cluster. Phải chắc chắn node4 không bao giờ tự bật lại trên mạng cluster với cấu hình cũ (tài liệu Proxmox gọi đây là điều kiện quan trọng): giữ nó tắt hoặc rút cáp mạng cho tới khi cài lại sạch.

pvecm status | grep -E 'Quorate|Total votes'     # phải Quorate: Yes
pvecm delnode node4
# Lỗi "could not kill node (error = cs_err_not_exist)" có thể bỏ qua theo tài liệu Proxmox
pvecm nodes

Bước 3. Dọn dấu vết của node cũ (để node mới cùng tên/IP vào được sạch):

# Giữ bản sao cấu hình cũ (có host.fw của node4 và các file VM) rồi mới xoá thư mục
cp -a /etc/pve/nodes/node4 /root/node4-config-$(date +%F)
rm -r /etc/pve/nodes/node4

# Gỡ node4 khỏi quy tắc HA (bài 03 mục 7.2); thay tên quy tắc nếu bạn đặt khác
pvesh get /cluster/ha/rules
ha-manager rules set node-affinity ha-node-affinity --nodes "node1:2,node2:2,node3:1"

# Replication job (nếu có) và khoá SSH cũ
pvesr list
grep -n 'node4' /etc/pve/priv/authorized_keys
sed -i '/ root@node4$/d' /etc/pve/priv/authorized_keys

Bước 4. Cài PVE lên phần cứng mới theo bài 02 (đặt các giá trị cố định dưới đây, giống hệt node cũ):

MụcGiá trị
Hostname (FQDN)node4.hoatranlabs.local
IP / Gateway10.11.45.213/24 / 10.11.45.1
Phiên bản PVECùng bản với cluster: so pveversion trên node1 với node mới; chưa lên cùng bản thì cập nhật xong rồi mới join (bài 06)
Trạng tháiChưa có VM/CT nào (join sẽ xoá /etc/pve của node mới)
/etc/hostsĐủ 4 dòng node như bài 03 mục 1.1
/etc/network/interfacesGiống node cũ (vmbr0, VLAN-aware, bridge-vids 25 35 45 55 65 75 85), chỉ đổi address
Repo, giờpve-no-subscription + ceph.sources (bài 02 mục 6, bài 03 bước 4); chronyc tracking đồng bộ

Bước 5. Join lại cluster.

Cách 1: GUI (Datacenter → Cluster)

Trên node1: Datacenter → Cluster → Join Information → Copy Information. Trên node4 mới: Datacenter → Cluster → Join Cluster, dán chuỗi, nhập mật khẩu root của node1, chọn Link 0 là 10.11.45.213, bấm Join. Phiên GUI sẽ bị ngắt khi node sinh chứng chỉ mới; đăng nhập lại (giống bài 03 bước 3.2).

Cách 2: CLI (pvecm add)

# Chạy trên node4 MỚI
pvecm add 10.11.45.210 --link0 10.11.45.213
# Lệnh hỏi mật khẩu root@pam của node1 và xác nhận fingerprint chứng chỉ
pvecm updatecerts        # nếu gặp lỗi SSH/host key vì cùng IP/hostname với node cũ
pvecm status             # kỳ vọng: Total votes 4, Quorate Yes
Terminal node4 sau khi cài lại: pvecm add 10.11.45.210 --link0 10.11.45.213 hoàn tất và pvecm status hiển thị Total votes 4, Quorate Yes.
Terminal node4 sau khi cài lại: pvecm add 10.11.45.210 --link0 10.11.45.213 hoàn tất và pvecm status hiển thị Total votes 4, Quorate Yes.

Bước 6. Cài lại Ceph trên node4 và đưa đĩa vào.

# Trên node4: cài Ceph cùng dòng với các node khác
pveceph install --repository no-subscription --version tentacle
ceph versions            # mọi daemon cùng 20.2.x

Lab thiết kế 3 MON (node1–node3) nên node4 chỉ chạy OSD. Nếu bạn vẫn muốn MON/MGR trên node4: pveceph mon create, rồi mkdir -p /var/lib/ceph/mgr && chown ceph:ceph /var/lib/ceph/mgr && pveceph mgr create (hai lỗi đã biết ở bài 03).

Chọn một trong hai đường cho OSD, tuỳ đĩa OSD cũ còn dùng được hay không:

ĐườngKhi nàoLệnh
A. Giữ dữ liệu OSDChỉ hỏng đĩa OS/bo mạch, đĩa OSD nguyên vẹn, chưa chạy ceph osd purgeceph-volume lvm list, rồi ceph-volume lvm activate --all. Ceph nhận lại OSD cũ, chỉ phải đồng bộ phần thay đổi
B. Tạo OSD mớiĐĩa hỏng/thay mới, hoặc đã purge ở bước 1pveceph osd create /dev/sdb --crush-device-class ssd (xoá sạch /dev/sdb; khai class đúng tầng, đĩa HDD thì hdd), Ceph backfill toàn bộ
# Đường A (cần kiểm lại trên máy thật: dựa trên hướng dẫn của tài liệu Proxmox và diễn đàn)
ceph-volume lvm list
ceph-volume lvm activate --all
systemctl status ceph-osd@3
ceph osd tree

# Đường B
lsblk /dev/sdb
wipefs -a /dev/sdb && ceph-volume lvm zap /dev/sdb --destroy
pveceph osd create /dev/sdb --crush-device-class ssd
Đường A có thể gặp OSD hiện down do quyền thiết bị device-mapper hoặc thiếu keyring; nếu sau 10 phút không lên, chuyển sang đường B thay vì sửa tay (diễn đàn Proxmox ghi nhận cả hai trường hợp; cần kiểm lại trên máy thật).

Bước 7. Trả lại cấu hình riêng của node (những thứ không nằm trong /etc/pve nên phải làm lại):

Cấu hìnhVị tríTham chiếu
Hardening SSH, fail2ban, firewall cấp node (host.fw đã sao lưu ở bước 3)/etc/ssh/sshd_config.d/, /etc/pve/nodes/node4/host.fwBài 05
Watchdog cho HA/etc/modules, /etc/default/pve-ha-managerBài 03 mục 7.1, mục 5.4
Repo, kernel, cập nhật/etc/apt/sources.list.d/Bài 02, bài 06
Chứng chỉ ACME của nodepvenode acmeBài 09
smartd, relay mail/etc/smartd.confBài 10
NUT client (nếu có)/etc/nut/Bài 10
node_exporter, Wazuh agentdịch vụ systemdBài 15, bài 17

Bước 8. Cho HA dùng lại node4: thêm node4:1 vào quy tắc (ha-manager rules set node-affinity ha-node-affinity --nodes "node1:2,node2:2,node3:1,node4:1"). Kiểm tra ha-manager status thấy lrm node4 (idle).

2.5 Xác minh

pvecm status | grep -E 'Quorate|Total votes'          # Yes, 4
pvecm nodes                                           # 4 node, Online
ceph -s                                               # HEALTH_OK, 4 osds: 4 up, 4 in, mọi PG active+clean
ceph versions                                         # cùng phiên bản
ha-manager status                                     # quorum OK; không có dịch vụ error
pvesm status                                          # vm-ceph và pbs-primary 'active' trên node4
# Chạy thử: di chuyển một VM thử nghiệm sang node4 rồi về
qm migrate <VMID_THỬ> node4 --online                  # dùng một VM thử nghiệm đang chạy (không phải template)

Chạy lại pve-triage.sh và lưu kết quả cùng biên bản sự cố.

2.6 Phòng ngừa: sao lưu cấu hình node

Lưu thành /usr/local/sbin/backup-node-config.sh trên mọi node, chạy hằng ngày lúc 05:30 (không trùng giờ backup 22:00, sync 00:30–01:00, prune 03:00 của bài 04; ngày Chủ nhật GC bắt đầu 05:00 nhưng không xung đột về dữ liệu).

#!/usr/bin/env bash
# backup-node-config.sh — sao lưu cấu hình node PVE (không chứa dữ liệu VM)
set -euo pipefail
DEST=/var/backups/pve-config
KEEP=14
HOST=$(hostname -s)
FILE="$DEST/${HOST}-$(date +%F_%H%M).tgz"
mkdir -p "$DEST"; chmod 700 "$DEST"

PATHS=()
for p in /etc/pve /etc/network/interfaces /etc/hosts /etc/hostname /etc/fstab /etc/modules \
         /etc/default/pve-ha-manager /etc/chrony /etc/ssh /etc/apt/sources.list.d \
         /etc/smartd.conf /etc/nut /etc/postfix /etc/ceph; do
  [ -e "$p" ] && PATHS+=("$p")
done
tar --warning=no-file-changed -czf "$FILE" "${PATHS[@]}"
chmod 600 "$FILE"
ls -1t "$DEST/${HOST}"-*.tgz | tail -n +$((KEEP + 1)) | xargs -r rm -f

# Tuỳ chọn: đẩy lên PBS theo quy ước file-level của bài 04 mục 5.7
# (token vm-backup@pbs!<hostname>, namespace vm-<hostname>); bí mật đặt trong file chỉ root đọc được
if [ -r /root/.pbs-node.env ]; then
  . /root/.pbs-node.env          # định nghĩa PBS_REPOSITORY, PBS_PASSWORD, PBS_FINGERPRINT
  export PBS_REPOSITORY PBS_PASSWORD PBS_FINGERPRINT
  proxmox-backup-client backup "node-config.pxar:${DEST}" --ns vm-"${HOST}"
fi
echo "OK: $FILE"
echo '30 5 * * * root /usr/local/sbin/backup-node-config.sh >/var/log/backup-node-config.log 2>&1' > /etc/cron.d/backup-node-config
Tệp sao lưu chứa khoá riêng của cluster: thư mục /etc/pve/priv, keyring Ceph và khoá SSH đều nằm trong tệp .tgz. Giữ chmod 600; khi sao chép ra ngoài node chỉ dùng kênh mã hoá và nơi lưu tin cậy. Đẩy lên PBS đã được mã hoá khi bạn bật mã hoá phía client (bài 04 mục 6.6).

Để dùng được phần "đẩy lên PBS", tạo token và namespace theo bài 04 mục 5.7 cho từng node (ví dụ vm-backup@pbs!node1, namespace vm-node1); nội dung chi tiết không lặp lại ở đây.

03

Runbook B — Thay OSD (đĩa Ceph hỏng hoặc sắp hỏng)

Triệu chứng · Chẩn đoán · Hành động — thay OSD theo quy trình của Proxmox

Thuộc tínhGiá trị
Mức độP2 khi OSD down/hỏng; P3 khi chỉ có cảnh báo SMART/DEVICE_HEALTH; P1 nếu đã mất dự phòng khác (đang thiếu 1 node, có PG inactive)
RTO / RPO ví dụDịch vụ: 0 (min_size=2 vẫn cho ghi). Phục hồi đủ 3 bản sao: thời gian backfill, ví dụ 300 GB ở ~100 MB/s ≈ 1–2 giờ
Điều kiện tiên quyếtCluster chỉ có đúng một OSD lỗi; ceph df: các OSD còn lại đủ chỗ (mục 9.1)
Ví dụ trong bàiosd.2 trên node3, /dev/sdb

3.1 Triệu chứng

  • ceph -s: HEALTH_WARN, 1 osds down, Degraded data redundancy: N pgs degraded; sau 10 phút OSD thành out và Ceph backfill.
  • DEVICE_HEALTH (Ceph dự đoán đĩa sắp hỏng), cảnh báo SMART (bài 10), RECENT_CRASH, SLOW_OPS, OSD "flapping" (up/down liên tục).
  • dmesg -T có I/O error, Medium Error, blk_update_request.

3.2 Chẩn đoán

ceph osd tree down
ceph osd df tree
ceph health detail
ceph crash ls

# Xác định đĩa vật lý của osd.2 (tên thiết bị, host, serial)
ceph osd metadata 2 | grep -E '"hostname"|"devices"|bluestore_bdev_dev_node'
ceph-volume lvm list                 # chạy trên node3
lsblk -o NAME,SIZE,MODEL,SERIAL,TYPE /dev/sdb

# Sức khoẻ đĩa
smartctl -H -A /dev/sdb              # SATA/SAS; NVMe: smartctl -a /dev/nvme0
dmesg -T | grep -iE 'sdb|i/o error|medium error' | tail -20
journalctl -u ceph-osd@2 --since "1 hour ago" | tail -30
Kết quảKết luậnHành động
Daemon crash nhưng đĩa sạch lỗi (SMART tốt, dmesg sạch)Lỗi phần mềm/tạm thờisystemctl restart ceph-osd@2; nếu không lên: ceph-volume lvm activate --all (tài liệu Proxmox); theo dõi 1 ngày. Không thay đĩa vội
SMART FAILED, hoặc Reallocated/Pending tăng, hoặc dmesg có I/O errorĐĩa hỏng/sắp hỏngMục 3.3
Nhiều OSD cùng node downLỗi controller, cáp, nguồn hoặc cả nodeMục 2, không thay đĩa
OSD flapping, đĩa khoẻLỗi mạng/MTU hoặc quá tảiMục 9.5, mục 7

3.3 Hành động — thay OSD theo quy trình của Proxmox

NGUY HIỂM — thay đĩa khi cluster đang suy giảm: với size=3 trên 4 host, thay hoặc xoá hai OSD ở hai host khác nhau cùng lúc có thể làm một số PG chỉ còn 1 bản sao (dưới min_size=2, PG ngừng I/O). Chỉ một OSD mỗi lần và chờ HEALTH_OK giữa các lần.

Bước 1. Điều kiện: các OSD còn lại đủ chỗ nhận dữ liệu (ceph osd df tree, %USE × 4/3 < 85%). Nếu không đủ chỗ: thêm đĩa mới trước (pveceph osd create), rồi mới xoá OSD cũ.

Bước 2. Đánh dấu out. Nếu OSD còn up, out cho phép Ceph chuyển dữ liệu đi trong khi OSD vẫn là một bản sao hợp lệ (an toàn hơn để nó down đột ngột):

ceph osd out osd.2
watch -n10 'ceph -s | head -20'      # chờ backfill xong: HEALTH_OK, mọi PG active+clean
ceph osd df tree                     # osd.2 phải còn 0 PGS
watch -n10 'ceph -s' sau khi ceph osd out osd.2: PG chuyển sang active+remapped+backfilling, dòng recovery và tỉ lệ objects misplaced giảm dần.
watch -n10 'ceph -s' sau khi ceph osd out osd.2: PG chuyển sang active+remapped+backfilling, dòng recovery và tỉ lệ objects misplaced giảm dần.

Bước 3. Kiểm tra an toàn rồi dừng và xoá OSD:

ceph osd safe-to-destroy osd.2
# Kỳ vọng: OSD(s) 2 are safe to destroy without reducing data durability.
# Nếu thấy: Error EBUSY: OSD(s) 2 have 38 pgs currently mapped to them. -> CHƯA an toàn, chờ tiếp.

ceph osd ok-to-stop 2                # dừng OSD này có ảnh hưởng PG khác không?
pveceph stop --service osd.2         # trên node3
pveceph osd destroy 2 --cleanup      # trên node3; --cleanup xoá cả LV bằng ceph-volume lvm zap --destroy
NGUY HIỂM — tuỳ chọn --cleanup: xoá bảng phân vùng và LV của đĩa. Kiểm tra lại đúng tên thiết bị (ceph-volume lvm list, lsblk) trước khi gõ; không có đường quay lại.
Terminal node3: ceph osd safe-to-destroy osd.2 báo 'are safe to destroy', rồi pveceph stop --service osd.2 và pveceph osd destroy 2 --cleanup chạy thành công.
Terminal node3: ceph osd safe-to-destroy osd.2 báo 'are safe to destroy', rồi pveceph stop --service osd.2 và pveceph osd destroy 2 --cleanup chạy thành công.

Bước 4. Thay đĩa vật lý (hot-swap nếu backplane hỗ trợ; nếu không phải tắt node, lúc đó ceph osd set noout và dùng HA maintenance ở bài 06). Xác nhận đĩa mới trống:

lsblk /dev/sdb                       # không có FSTYPE, MOUNTPOINT
wipefs -a /dev/sdb                   # chỉ khi là đĩa cũ từng dùng

Bước 5. Tạo lại OSD và theo dõi:

pveceph osd create /dev/sdb --crush-device-class ssd   # OSD SSD của vm-ceph; OSD HDD của vm-bulk (/dev/sdc) thì --crush-device-class hdd (bài 07 mục 8.5). Có thể thêm --db_dev /dev/nvme0n1 --db_dev_size 60 nếu dùng DB riêng
watch -n10 'ceph -s | grep -E "health|osd:|pgs|recovery|backfill"'

GUI tương đương: node3 → Ceph → OSD, chọn OSD rồi lần lượt bấm Out, Stop, More → Destroy (tick Cleanup disks), thay đĩa, rồi bấm Create: OSD.

node3 → Ceph → OSD: chọn osd.2, menu More với Out/Stop/Destroy; hộp thoại Destroy có tuỳ chọn Cleanup disks (chỉ chụp, không bấm Destroy nếu chưa đủ điều kiện).
node3 → Ceph → OSD: chọn osd.2, menu More với Out/Stop/Destroy; hộp thoại Destroy có tuỳ chọn Cleanup disks (chỉ chụp, không bấm Destroy nếu chưa đủ điều kiện).

Tốc độ backfill: xem mục 6.5. Trong giờ làm việc để mặc định (balanced); ngoài giờ có thể tạm dùng high_recovery_ops.

3.4 Xác minh

ceph osd tree                         # osd mới 'up', 'in', đúng host
ceph -s                               # HEALTH_OK, mọi PG active+clean
ceph osd df tree                      # dữ liệu phân bố đều (chênh lệch %USE nhỏ)
ceph crash archive-all                # xác nhận các crash cũ sau khi đã xử lý xong
smartctl -H /dev/sdb                  # đĩa mới PASSED

Ghi vào nhật ký: số serial đĩa cũ/mới, giờ bắt đầu/kết thúc backfill, bảo hành (RMA) nếu còn.

3.5 Phòng ngừa

  • SMART định kỳ và cảnh báo sớm (bài 10): thay đĩa khi thuộc tính pre-fail tăng, không đợi nó chết.
  • Dung lượng: giữ raw ≤ 60% trong cluster 4 host để chịu được một OSD/host mất mà không chạm nearfull (mục 9.1).
  • Đĩa dự phòng cùng model/dung lượng tại chỗ; không trộn kích thước lệch nhiều trong cùng host (CRUSH weight theo dung lượng).
  • Một OSD mỗi đĩa vật lý, dùng HBA, không RAID (khuyến nghị của tài liệu Proxmox); DB/WAL trên SSD/NVMe riêng làm tăng blast radius: một ổ DB hỏng kéo theo mọi OSD dùng chung.
  • Cluster nhỏ ưu tiên SSD để rút ngắn thời gian recovery.
04

Runbook C — Mất quorum (Corosync)

Triệu chứng · Chẩn đoán · Hành động

Thuộc tínhGiá trị
Mức độP1
RTO / RPO ví dụ30–60 phút tuỳ nguyên nhân (đưa node/mạng trở lại). RPO 0: VM đang chạy trên node không bị reset vẫn giữ dữ liệu; chỉ không thể tạo/di chuyển/khởi động VM mới
Điều kiện tiên quyếtTruy cập console từng node (IPMI/iDRAC hoặc màn hình): giao diện web và SSH có thể không dùng được
Cảnh báoKhông chạy pvecm expected cho tới khi hiểu mục 4.3

4.1 Triệu chứng

  • Giao diện web: mọi node khác có dấu ?/xám; thao tác tạo/sửa báo cfs-lock ... error: no quorum!, cluster not ready - no quorum? (500).
  • touch /etc/pve/test báo Permission denied/Read-only file system: pmxcfs đã chuyển chỉ đọc (cơ chế bảo vệ dữ liệu, không phải lỗi).
  • pvecm status có Quorate: No và dòng Quorum: 3 Activity blocked.
  • Node đang chạy dịch vụ HA tự reboot sau khoảng 60 giây (tài liệu HA: không có quorum thì LRM không reset được watchdog). Đây là fencing, không phải sự cố riêng của node đó.
  • Ceph có thể vẫn chạy bình thường (MON có quorum riêng, mục 4.3) hoặc đóng băng I/O nếu mất cả quorum MON.

4.2 Chẩn đoán

Làm trên console của từng node (không tin vào GUI khi mất quorum):

pvecm status                          # Quorate? Total votes? Nodes?
corosync-quorumtool -s                # cái nhìn của votequorum
corosync-cfgtool -s                   # từng link tới từng node: connected / disconnected
journalctl -u corosync --since "30 min ago" | tail -50
systemctl status corosync pve-cluster --no-pager

Ví dụ pvecm status khi chỉ còn 2/4 node (mẫu):

Cluster information
-------------------
Name:             HOATRANHUB
Config Version:   4
Transport:        knet
Secure auth:      on

Quorum information
------------------
Quorum provider:  corosync_votequorum
Nodes:            2
Quorate:          No

Votequorum information
----------------------
Expected votes:   4
Highest expected: 4
Total votes:      2
Quorum:           3 Activity blocked
Flags:
pvecm status trên console khi cluster chỉ còn 2/4 node: Quorate No, Total votes 2, Quorum 3 Activity blocked (chụp trên cluster thử nghiệm).
pvecm status trên console khi cluster chỉ còn 2/4 node: Quorate No, Total votes 2, Quorum 3 Activity blocked (chụp trên cluster thử nghiệm).
Quan sátNguyên nhân thường gặpXử lý
Nhiều node tắt đồng thời, sau mất điệnCold start: chưa đủ node bật lạiBật đủ node (≥ 3/4); dịch vụ pve-guests chờ quorum rồi mới khởi động VM onboot (tài liệu Proxmox khuyên dùng UPS, bài 10)
Hai node thấy nhau, hai node kia cũng thấy nhau (chia 2–2)Switch/VLAN/FortiGate lỗi, dây giữa hai tủ đứtSửa mạng; không ép quorum cả hai phía
corosync-cfgtool -s: link disconnected hoặc log "Token has not been received"Cáp, cổng switch, MTU, firewall (bài 05) chặn UDP 5405–5412Mục 9.5
Lỗi sau khi sửa corosync.conf hoặc thêm/xoá nodeconfig_version lệch giữa các node, file hỏngMục 4.3, phần C
corosync không khởi động được/etc/corosync/corosync.conf sai cú phápMục 4.3, phần C

4.3 Hành động

A. Đưa cluster về đủ phiếu bằng cách sửa nguyên nhân (luôn ưu tiên). Bật lại node, sửa mạng, mở lại firewall. Khi đủ phiếu, quorum tự phục hồi và /etc/pve tự ghi được trở lại. Không cần lệnh nào khác.

B. Ép quorum bằng pvecm expected.

NGUY HIỂM — ép quorum bằng pvecm expected: lệnh này hạ số phiếu kỳ vọng để cluster tự coi mình có quorum dù thiếu node. Tài liệu Proxmox cảnh báo chỉ dùng khi hiểu rõ hậu quả. Nếu các node "vắng mặt" thực ra còn sống ở một phía mạng khác và phía đó cũng bị ép quorum (hoặc đang có quorum), bạn có hai cluster ghi hai bản /etc/pve khác nhau và hai node có thể cùng khởi động một VM (split-brain). Chỉ dùng khi cả bốn điều kiện dưới đây đúng.
  1. Các node vắng mặt đã tắt nguồn hoặc bị tách vật lý (xác nhận qua IPMI/iDRAC, không suy đoán qua ping).
  2. Bạn chạy lệnh trên một phía duy nhất, và một người khác xác nhận lại.
  3. Dịch vụ cần ngay (ví dụ DNS pihole) và việc chờ sửa node/mạng không chấp nhận được.
  4. Đã chấp nhận rằng các node vắng mặt, khi quay lại, phải được kiểm tra trước (xem phần D).
# Chỉ trên MỘT node/phía duy nhất còn sống, sau khi đã thoả cả 4 điều kiện
pvecm status | grep -E 'Total votes|Quorate'
pvecm expected 2            # = số phiếu đang hiện diện ở phía này; ví dụ còn node1+node2 thì 2
pvecm status                # kỳ vọng: Quorate Yes
touch /etc/pve/quorum-test && rm /etc/pve/quorum-test   # /etc/pve ghi được lại

Lệnh chỉ có hiệu lực ở runtime: khởi động lại corosync hoặc khi node khác vào lại, giá trị tính lại theo cấu hình (cần kiểm lại trên máy thật). Tài liệu Proxmox minh hoạ pvecm expected 1 cho trường hợp chỉ còn một node.

C. Corosync không chạy vì file cấu hình sai. Nguyên tắc: nội dung corosync.conf phải giống hệt nhau trên mọi node, config_version tăng sau mỗi thay đổi.

# Khi cluster có quorum: sửa trên bản sao rồi thay thế (đúng quy trình của tài liệu Proxmox)
cp /etc/pve/corosync.conf /etc/pve/corosync.conf.bak
cp /etc/pve/corosync.conf /etc/pve/corosync.conf.new
# ... sửa corosync.conf.new, TĂNG config_version ...
mv /etc/pve/corosync.conf.new /etc/pve/corosync.conf
journalctl -b -u corosync | tail -20

# Khi KHÔNG có quorum và corosync không lên: sửa tạm bản cục bộ (giống nhau trên mọi node)
cp /etc/corosync/corosync.conf /root/corosync.conf.broken
nano /etc/corosync/corosync.conf          # sửa, tăng config_version, GIỐNG hệt trên mọi node
systemctl restart corosync

Nếu /etc/pve đã chỉ đọc và phải ghi tạm: dừng pve-cluster và corosync, chạy pmxcfs -l (chế độ cục bộ), sửa /etc/pve/corosync.conf, rồi killall pmxcfs và khởi động lại hai dịch vụ — đây là chế độ khẩn cấp, chỉ làm trên một node tại một thời điểm, theo đúng thủ tục tài liệu Proxmox, và cần kiểm lại trên máy thật.

D. Khi node vắng mặt quay lại sau khi đã ép quorum. Bật từng node một, cô lập khỏi mạng cluster trước (rút cáp hoặc chặn bằng firewall), kiểm tra:

# Trên node vừa quay lại, TRƯỚC khi nối mạng
pvecm status
ls /etc/pve/nodes/*/qemu-server/        # có VM nào được start trên cả hai phía không?
qm list                                  # VM nào đang chạy ở node này?

Nếu một VM đã chạy ở cả hai phía: tắt bản chạy ở node vừa quay lại (qm stop <vmid>), sau đó kiểm tra filesystem của VM (mục 5.3). Nếu /etc/pve hai phía đã phân kỳ: cài lại node đó (mục 2.4) thay vì cố gộp.

E. Ceph đóng băng I/O vì mất quorum MON. Corosync và Ceph MON có quorum riêng. Lab có 4 MON (cần 3), nên mất 2 node thì mất luôn quorum MON và ceph -s treo; pvecm expected không cứu được Ceph. Đường chuẩn: bật lại một node có MON. Đường cuối cùng khi không thể bật lại (chỉ cho người đã đọc tài liệu Ceph "Removing Monitors from an Unhealthy Cluster"):

NGUY HIỂM — chỉnh monmap: gỡ MON "chết" khỏi monmap bằng tay. Các MON bị gỡ, nếu sau này bật lại, phải bị xoá sạch dữ liệu MON, không được tự gia nhập. Sao lưu /var/lib/ceph/mon trước.
# Trên MỖI node còn MON sống (ví dụ node1, node2); node3, node4 là MON đã mất
systemctl stop ceph-mon.target
# Trên node1:
sudo -u ceph ceph-mon -i node1 --extract-monmap /tmp/monmap
monmaptool /tmp/monmap --rm node3 --rm node4
sudo -u ceph ceph-mon -i node1 --inject-monmap /tmp/monmap
# Chép /tmp/monmap sang node2 và inject tương tự (ceph-mon -i node2 ...)
systemctl start ceph-mon.target
ceph -s

4.4 Xác minh

pvecm status | grep -E 'Quorate|Total votes|Quorum'   # Quorate: Yes; đủ phiếu
corosync-cfgtool -s                                    # mọi link connected
ha-manager status                                      # quorum OK; không có LRM ở trạng thái lost
ceph -s                                                # MON quorum đủ, HEALTH_OK hoặc đang recovery bình thường

Sau sự cố: kiểm tra mọi VM onboot/HA đã chạy (qm list trên từng node), và đối chiếu danh sách VM cần chạy với CMDB/inventory.

4.5 Phòng ngừa

  • QDevice cho cluster số node chẵn (và bắt buộc cho cluster 2 node). Tài liệu Proxmox hỗ trợ cluster số node chẵn kèm QDevice và không khuyến khích cho số node lẻ (QDevice khi đó có N−1 phiếu, nếu qnetd hỏng thì không node nào được phép hỏng thêm).
# Trên máy ngoài cluster (ví dụ VM nhỏ ở site phụ, <QDEVICE_IP>); KHÔNG đặt trong cluster HOATRANHUB
apt install corosync-qnetd
# Trên MỖI node cluster
apt install corosync-qdevice
# Trên MỘT node cluster (cần SSH root vào <QDEVICE_IP> một lần để chép khoá)
pvecm qdevice setup <QDEVICE_IP>
pvecm status        # Expected votes 5, Quorum 3, Flags: Quorate Qdevice
corosync-qdevice-tool -s

Với HOATRANHUB (4 node + QDevice = 5 phiếu, quorum 3) cluster chịu được mất 2 node. Cổng cần mở từ node tới QDevice: TCP 5403 (qnetd mặc định). Gỡ QDevice trước khi thêm/bớt node (pvecm qdevice remove, tài liệu Proxmox). PVE chọn thuật toán ghi phiếu cho số node chẵn/lẻ; xem grep -A6 quorum /etc/pve/corosync.conf (cần kiểm lại trên máy thật).

pvecm status sau khi thêm QDevice: Expected votes 5, Total votes 5, Quorum 3, Flags Quorate Qdevice; corosync-qdevice-tool -s báo kết nối tới qnetd.
pvecm status sau khi thêm QDevice: Expected votes 5, Total votes 5, Quorum 3, Flags Quorate Qdevice; corosync-qdevice-tool -s báo kết nối tới qnetd.
  • Link Corosync thứ hai trên mạng khác (tối đa 8 link; thêm ring1_addr cho từng node và interface { linknumber: 1 }, tăng config_version; tài liệu mục Adding Redundant Links To An Existing Cluster). Mỗi link nên đi trên đường vật lý riêng thì mới có ích.
  • Không dùng bond chế độ balance-* cho Corosync; với LACP đặt bond-lacp-rate fast ở cả node và switch (mặc định slow có thể mất khoảng 90 giây để failover, fast khoảng 3 giây — tài liệu Proxmox).
  • UPS và thứ tự bật nguồn sau mất điện (bài 10): bật các node có MON trước.
  • Cảnh báo Quorate: No/Total votes giảm trên Prometheus (bài 10, bài 15).
05

Runbook D — Split-brain & HA

Ba lớp bảo vệ và khi nào chúng thủng · Triệu chứng và chẩn đoán: node tự reboot, dịch vụ HA error · Nghi ngờ một VM chạy hai nơi (P1)

Thuộc tínhGiá trị
Mức độP1 nếu nghi ngờ một VM chạy hai nơi; P2 khi node bị fence và HA dựng lại bình thường; P3 khi chỉ chỉnh watchdog
RTO / RPO ví dụFence → VM chạy lại: ≈ 2–5 phút. RPO 0 với đĩa trên Ceph, nhưng VM bị dừng đột ngột như mất điện (cần fsck)
Điều kiện tiên quyếtHiểu 3 lớp bảo vệ ở mục 5.1

5.1 Ba lớp bảo vệ và khi nào chúng thủng

LớpCơ chếKhi nào mất tác dụng
1. QuorumChỉ phía có đa số phiếu mới ghi được /etc/pve và ra lệnhBị ép bằng pvecm expected ở cả hai phía; node cấu hình sai
2. Fencing bằng watchdogNode mất quorum không reset được watchdog; sau ~60 giây watchdog reset node; CRM (phía có quorum) mới dựng lại dịch vụWatchdog phần mềm (softdog) khi kernel treo; watchdog bị vô hiệu
3. Khoá độc quyền của RBDMột ảnh RBD chỉ có một client ghi tại một thời điểmKhoá bị cưỡng ép gỡ; đĩa không nằm trên RBD (storage cục bộ/NFS)

Dòng thời gian khi node4 mất liên lạc (ước lượng theo tài liệu HA, đo thật ở mục 12):

T+0 s        Corosync mất liên lạc với node4 (vài giây theo token timeout)
T+vài giây   Phía còn đa số cập nhật membership; node4 (nếu ở thiểu số) mất quorum
T+≤60 s      node4: LRM không reset được watchdog -> watchdog hết hạn -> node4 RESET
T+60–120 s   CRM ở phía có quorum lấy được khoá node4: dịch vụ 'fence' -> 'recovery'
T+~2–3 phút  VM được khởi động trên node khác (chưa tính thời gian boot của hệ điều hành trong VM)

5.2 Triệu chứng và chẩn đoán: node tự reboot, dịch vụ HA error

Node reboot đột ngột không phải lỗi nếu nó đã mất quorum; xác định nguyên nhân gốc:

journalctl --list-boots | tail -3
journalctl -b -1 -u corosync -u pve-ha-lrm -u pve-ha-crm -u watchdog-mux --no-pager | tail -60
last -x reboot | head -3
ha-manager status

Dịch vụ HA ở trạng thái error (ví dụ đã vượt max_relocate hoặc không khởi động được): sửa nguyên nhân gốc trước (đĩa, cấu hình, thiếu tài nguyên), sau đó đặt disabled để xoá cờ lỗi rồi mới started (đúng quy trình tài liệu HA):

ha-manager status
ha-manager set vm:245 --state disabled
ha-manager set vm:245 --state started

5.3 Nghi ngờ một VM chạy hai nơi (P1)

# 1) Cấu hình VM chỉ được ở MỘT node
ls /etc/pve/nodes/*/qemu-server/245.conf
# 2) VM đang chạy ở đâu? Chạy trên từng node
qm list | grep -w 245
# 3) Ảnh RBD có mấy watcher? Chạy trên node bất kỳ: đúng 1 watcher cho một VM đang chạy
rbd status vm-ceph/vm-245-disk-0
rbd lock ls vm-ceph/vm-245-disk-0

Nếu hai node cùng chạy VM: tắt ngay bản không sở hữu cấu hình (qm stop 245 trên node đó, --skiplock nếu bị khoá), sau đó đưa VM thật về sạch: qm shutdown 245, khởi động lại và chạy kiểm tra filesystem trong VM. Nếu dữ liệu đã hỏng: restore từ PBS (mục 8) rồi xác định tại sao hai lớp bảo vệ cùng hỏng (đã pvecm expected? đã chuyển file .conf khi node cũ còn chạy?).

5.4 Watchdog: kiểm tra và chuyển sang phần cứng

lsmod | grep -E 'softdog|iTCO_wdt|ipmi_watchdog'
ls -l /dev/watchdog*
systemctl status watchdog-mux --no-pager
cat /etc/default/pve-ha-manager
ha-manager status | head -5            # kỳ vọng: quorum OK và dòng nói fencing/watchdog đã sẵn sàng (bài 03 ghi "fencing armed")

softdog là mặc định của PVE khi không cấu hình gì (bài 03 mục 7.1 cũng dùng nó). Trên máy chủ thật nên dùng watchdog phần cứng của chipset hoặc BMC; tài liệu HA minh hoạ WATCHDOG_MODULE=iTCO_wdt trong /etc/default/pve-ha-manager, và dịch vụ watchdog-mux nạp module khi khởi động.

NGUY HIỂM — đổi watchdog trên node đang chạy HA: làm lần lượt từng node, sau khi chuyển dịch vụ HA ra khỏi node đó (mục 5.5), vì thao tác cần reboot và dịch vụ pve-ha-lrm điều khiển watchdog. Không kill pve-ha-crm, pve-ha-lrm, watchdog-mux. Module phải khớp phần cứng của bạn: tra lspci/dmesg | grep -i wdt và xem tài liệu nhà sản xuất (cần kiểm lại trên máy thật). Máy ảo lab (QEMU) không có watchdog phần cứng, giữ softdog.
# Ví dụ trên máy chủ Intel có iTCO (kiểm tra module có thật trước)
modinfo iTCO_wdt | head -3
sed -i 's/^#\?WATCHDOG_MODULE=.*/WATCHDOG_MODULE=iTCO_wdt/' /etc/default/pve-ha-manager
sed -i '/^softdog$/d' /etc/modules          # bỏ dòng softdog thêm ở bài 03 (nếu có)
# chuyển HA ra khỏi node (mục 5.5), reboot, rồi kiểm lại
lsmod | grep iTCO_wdt && systemctl status watchdog-mux --no-pager | head -5

5.5 Bảo trì có kiểm soát (đừng để HA phản ứng như sự cố)

Nhu cầuLệnh / thiết lậpGhi chú
Cập nhật/reboot một node, VM tự di chuyển đi rồi vềha-manager crm-command node-maintenance enable node4, làm việc, rồi ... disable node4Dịch vụ HA được di chuyển theo luật và CRS; chế độ bền qua reboot; chi tiết ở bài 06
Tạm dừng hẳn HA khi bảo trì toàn clusterha-manager crm-command disarm-ha freeze (giữ nguyên dịch vụ, bỏ qua lệnh và lỗi) hoặc disarm-ha ignore (thả dịch vụ khỏi HA); kết thúc bằng ha-manager crm-command arm-haKhi tắt, HA không phát hiện/phục hồi sự cố: giữ cửa sổ ngắn
Chính sách khi shutdown/reboot nodeDatacenter → Options → HA Settings (shutdown_policy: conditional, migrate, failover, freeze)Mặc định conditional: tắt máy thì dịch vụ được node khác tiếp quản, reboot thì đóng băng và chạy lại tại node cũ

5.6 Xác minh và phòng ngừa

  • ha-manager status: quorum OK, CRM/LRM bình thường, không dịch vụ nào error/fence.
  • Đã diễn tập fence ít nhất một lần/quý trên node thử nghiệm (mục 12): rút cáp mạng Corosync của một node có VM HA thử, đo thời gian VM chạy lại.
  • Dùng watchdog phần cứng cho production; bật thông báo "fencing" trong hệ thống thông báo PVE (bài 10).
06

Runbook E — Ceph PG & recovery

Xem hiện trạng · Chế độ autoscaler · target_size_ratio, pg_num_min, bulk

Thuộc tínhGiá trị
Mức độP3 (cảnh báo PG, tối ưu); P2 khi có slow ops kéo dài; P1 khi PG inactive/incomplete
RTO / RPO ví dụChỉnh PG/recovery không gây mất dịch vụ nếu làm đúng; PG split/merge dồn I/O trong vài giờ
Điều kiện tiên quyếtHEALTH_OK (trừ cảnh báo đang xử lý); làm ngoài giờ cao điểm

6.1 Xem hiện trạng

ceph osd pool ls detail                       # size, min_size, pg_num, pgp_num, autoscale_mode, flags
ceph osd pool autoscale-status                # khuyến nghị của autoscaler
ceph pg stat
ceph osd df tree
ceph config get mon mon_target_pg_per_osd
ceph config get mon mon_max_pg_per_osd

Ví dụ autoscale-status của lab (mẫu; số của bạn khác):

POOL      SIZE  TARGET SIZE  RATE  RAW CAPACITY   RATIO  TARGET RATIO  EFFECTIVE RATIO  BIAS  PG_NUM  NEW PG_NUM  AUTOSCALE  BULK
.mgr    1388k                3.0        745G  0.0000                                       1.0       1              on         False
vm-ceph   18.0G               3.0        745G  0.0725                                       1.0     128              on         False
vm-bulk    1.7G               3.0        931G  0.0055                                       1.0     128              on         False
ceph osd pool autoscale-status trên cluster HOATRANHUB: các cột PG_NUM, NEW PG_NUM, TARGET RATIO, AUTOSCALE của các pool vm-ceph, vm-bulk và .mgr.
ceph osd pool autoscale-status trên cluster HOATRANHUB: các cột PG_NUM, NEW PG_NUM, TARGET RATIO, AUTOSCALE của các pool vm-ceph, vm-bulk và .mgr.

Cách autoscaler tính (tài liệu Ceph): mục tiêu mon_target_pg_per_osd (mặc định 100) PG mỗi OSD, chia theo size và tỉ lệ dung lượng pool, làm tròn lên luỹ thừa 2. Với lab: mỗi pool nằm trên 4 OSD cùng class (SSD cho vm-ceph, HDD cho vm-bulk) nên 4 OSD × 100 ÷ 3 ≈ 133 → 128 PG cho mỗi pool. Autoscaler chỉ đổi pg_num khi lệch quá hệ số 3 so với khuyến nghị, nên thêm vài OSD thường không kích hoạt gì; thêm nhiều OSD (ví dụ 12 OSD → khuyến nghị 512, gấp 4 lần 128) mới kích hoạt split.

6.2 Chế độ autoscaler

Chế độÝ nghĩaKhi nào dùng
onTự điều chỉnh pg_numMặc định tốt cho đa số (bài 03 tạo pool ở chế độ này)
warnChỉ cảnh báo POOL_TOO_FEW_PGS/TOO_MANY_PGS, không tự đổi; là mặc định của pveceph pool createMuốn tự kiểm soát thời điểm split/merge
offKhông làm gìKhi tự quản pg_num thủ công (mục 6.4)
ceph osd pool get vm-ceph pg_autoscale_mode
pveceph pool set vm-ceph --pg_autoscale_mode on           # hoặc: ceph osd pool set vm-ceph pg_autoscale_mode on
ceph osd pool set noautoscale                              # tạm tắt autoscale cho MỌI pool khi xử lý sự cố
ceph osd pool unset noautoscale                            # bật lại
Khi đang xử lý sự cố (backfill, OSD down) hãy ceph osd pool set noautoscale để autoscaler không chồng thêm di chuyển dữ liệu; nhớ unset sau khi cluster về HEALTH_OK.

6.3 target_size_ratio, pg_num_min, bulk

Pool mới và còn trống khiến autoscaler bắt đầu với ít PG rồi tăng dần khi dữ liệu lớn, nên PG split xảy ra đúng lúc cluster đang bận. Cho autoscaler biết trước pool sẽ chiếm bao nhiêu để nó chia PG đúng ngay từ đầu:

# vm-ceph là pool dữ liệu chính của lab: dự kiến ~90% dung lượng (tổng các pool phải <= 1)
pveceph pool set vm-ceph --target_size_ratio 0.9
# tương đương: ceph osd pool set vm-ceph target_size_ratio 0.9
# Hoặc theo dung lượng tuyệt đối (dữ liệu logic, chưa nhân size): ceph osd pool set vm-ceph target_size_bytes 160G   (vùng an toàn SSD, bài 07 mục 8.4)
# Sàn PG: autoscaler không giảm dưới mức này
pveceph pool set vm-ceph --pg_num_min 64
# Cờ bulk: pool bắt đầu với đầy đủ PG (ceph osd pool set vm-ceph bulk true)
ceph osd pool autoscale-status
Tham sốÝ nghĩaLưu ý
target_size_ratioTỉ lệ dung lượng dự kiến của pool trên tổngƯu tiên hơn target_size_bytes nếu đặt cả hai. Tổng tỉ lệ các pool vượt 1 gây cảnh báo POOL_TARGET_SIZE_RATIO_OVERCOMMITTED
pg_num_minSố PG tối thiểuAutoscaler không gộp PG xuống dưới mức này
bulkBắt đầu với đủ PG, giảm khi cầnPhù hợp pool sẽ chiếm phần lớn cluster

GUI: Datacenter → node → Ceph → Pools → chọn vm-ceph → Edit (các trường PG Autoscale Mode, Target Ratio, Min. # of PGs).

Datacenter → node → Ceph → Pools → Edit vm-ceph: các trường PG Autoscale Mode, Target Ratio và Min. # of PGs (hộp thoại Edit, chưa bấm OK).
Datacenter → node → Ceph → Pools → Edit vm-ceph: các trường PG Autoscale Mode, Target Ratio và Min. # of PGs (hộp thoại Edit, chưa bấm OK).

6.4 Đổi pg_num thủ công (khi autoscaler off)

ceph osd pool set noautoscale                                  # hoặc đặt pool autoscale_mode off
ceph osd pool set vm-ceph pg_num 256                           # luôn luỹ thừa của 2
watch -n10 'ceph osd pool ls detail | grep vm-ceph; ceph -s | grep -E "health|pgs|misplaced|backfill"'

Tài liệu Ceph: từ Nautilus, pgp_num tự tiến dần về pg_num để giới hạn tác động; tăng pg_num chia PG nhưng dữ liệu chỉ di chuyển khi pgp_num tăng. Đừng tăng pg_num khi cluster đang degraded/backfilling hoặc gần đầy. Tổng PG mỗi OSD bị chặn bởi mon_max_pg_per_osd (xem giá trị bằng lệnh ở 6.1); vượt sẽ có TOO_MANY_PGS.

6.5 Giới hạn tốc độ recovery/backfill

Ceph hiện đại dùng bộ lập lịch mClock (kiểm: ceph config get osd osd_op_queue). Với mClock, osd_max_backfills và osd_recovery_max_active bị ghi đè về giá trị mặc định của mClock và việc sửa chúng bị đặt lại, trừ khi bật cờ cho phép (tài liệu mClock của Ceph Tentacle). Dùng thứ tự ưu tiên sau:

# 1) Cách đơn giản nhất: đổi profile (áp cho mọi OSD, có hiệu lực ngay)
ceph config set osd osd_mclock_profile high_recovery_ops     # backfill nhanh (ngoài giờ)
ceph config set osd osd_mclock_profile high_client_ops       # ưu tiên I/O của VM (đang có tải)
ceph config set osd osd_mclock_profile balanced              # mặc định
ceph config show osd.0 | grep -E 'osd_mclock_profile|osd_max_backfills|osd_recovery_max_active'

# 2) Tinh chỉnh số backfill/recovery: phải bật cờ ghi đè TRƯỚC
ceph config set osd osd_mclock_override_recovery_settings true
ceph config set osd osd_max_backfills 2
ceph config set osd osd_recovery_max_active_ssd 5           # mClock dùng biến thể _hdd/_ssd theo loại đĩa
ceph config show osd.0 | grep -E 'osd_max_backfills|osd_recovery_max_active'

# Hoàn tác về mặc định
ceph config set osd osd_mclock_override_recovery_settings false
ceph config rm osd osd_max_backfills
ceph config rm osd osd_recovery_max_active_ssd

Nếu cluster chuyển bộ lập lịch về wpq (ceph config set osd osd_op_queue wpq, có hiệu lực sau khi khởi động lại OSD) thì osd_max_backfills và osd_recovery_max_active có hiệu lực trực tiếp mà không cần cờ ghi đè. Với lab 4 OSD trên một mạng 1 GbE chung, high_recovery_ops có thể làm nghẽn Corosync (mục 9.5): dùng khi không có VM quan trọng đang chạy, hoặc tách mạng Ceph trước.

6.6 Cờ OSD dùng khi xử lý sự cố

CờTác dụngDùng khiGỡ
nooutOSD down không bị chuyển outBảo trì node ngắn (vài giờ)ceph osd unset noout
norebalanceKhông cân bằng lại dữ liệuMuốn dừng di chuyển ở mức "misplaced"ceph osd unset norebalance
nobackfill, norecoverDừng backfill/recoveryMạng nghẽn, cần giảm tải ngayceph osd unset nobackfill ...
noscrub, nodeep-scrubDừng scrubScrub làm chậm I/O giờ cao điểmceph osd unset noscrub ...
pauseDừng mọi I/O clientGần như không bao giờceph osd unpause
ceph osd set noout           # xem cờ đang bật: ceph osd dump | grep flags
ceph health detail           # nhắc: OSDMAP_FLAGS cho tới khi unset
NGUY HIỂM — cờ bị bỏ quên: noout quên gỡ khiến OSD hỏng thật không bao giờ được out và Ceph không tái tạo bản sao; pause làm mọi VM đứng I/O. Ghi cờ đã bật vào nhật ký sự cố và đặt nhắc hẹn gỡ.

6.7 Trạng thái PG thường gặp

Trạng tháiÝ nghĩaHành động
active+cleanBình thường—
active+undersized+degradedThiếu bản sao (OSD down) nhưng vẫn I/OMục 3; theo dõi
active+remapped+backfilling / backfill_waitĐang/đợi di chuyển dữ liệuBình thường sau thay OSD; điều chỉnh tốc độ 6.5
peering, activatingĐang thoả thuận giữa OSDVài giây; kéo dài là dấu hiệu OSD/mạng lỗi
inactive, incomplete, staleKhông phục vụ I/OP1: ceph health detail, ceph pg <pgid> query, ceph pg dump_stuck inactive; tìm OSD down
active+clean+inconsistentScrub phát hiện bản sao không khớpMục 6.8
snaptrim, snaptrim_waitDọn snapshotBình thường; tải I/O tạm thời

6.8 PG inconsistent

ceph health detail                              # PG_DAMAGED ... pg 2.1a is active+clean+inconsistent
rados list-inconsistent-obj 2.1a --format=json-pretty
smartctl -H -A /dev/sdb                         # kiểm đĩa của OSD chứa PG trước khi sửa
ceph pg repair 2.1a
NGUY HIỂM — ceph pg repair: Ceph ghi đè bản sao bị coi là xấu bằng bản sao tốt; nếu đĩa đang hỏng dần, sửa lặp lại chỉ che lỗi. Kiểm SMART và dmesg trước, xem tài liệu "Troubleshooting PGs" của Ceph; nếu lỗi tái diễn trên cùng OSD, thay đĩa (mục 3).

6.9 Xác minh và phòng ngừa

  • ceph osd pool autoscale-status: PG_NUM bằng NEW PG_NUM (hoặc trống), không có cảnh báo POOL_TARGET_SIZE_RATIO_OVERCOMMITTED/TOO_MANY_PGS.
  • ceph config show osd.0: cờ osd_mclock_override_recovery_settings đã về false; không còn cờ noout/norebalance bỏ quên.
  • Đặt target_size_ratio ngay khi tạo pool; ghi quyết định vào bảng baseline (mục 7.7).
  • Thay đổi lớn (thêm nhiều OSD, đổi PG) làm trong cửa sổ bảo trì cùng bài 06, có thông báo (mục 11).
07

Runbook F — Đo hiệu năng

Nguyên tắc đo · CPU và đĩa hệ thống: pveperf · Mạng: iperf3 và kiểm tra MTU

Thuộc tínhGiá trị
Mức độP4 khi đo định kỳ (mỗi quý, và sau mỗi thay đổi lớn); P3 khi người dùng báo "chậm"
RTO / RPO ví dụKhông áp dụng; mục tiêu là có số liệu để phân biệt "chậm do tải" và "chậm do hỏng"
Điều kiện tiên quyếtceph -s là HEALTH_OK, không có backfill/scrub nặng, ngoài giờ cao điểm; thông báo cho người dùng khi đo trên production
Thời gian1–2 giờ cho cả cluster 4 node

7.1 Nguyên tắc đo

  • Một baseline không có ngày giờ và điều kiện thì vô nghĩa: ghi phiên bản (pveversion, ceph versions), số OSD, NIC, mạng, giờ đo, ai đo.
  • Đo trước khi có sự cố. Số đo đầu tiên của bạn phải là số của lúc cluster khoẻ.
  • Không dùng lệnh ghi lên đĩa/pool đang chứa dữ liệu thật: fio ghi trực tiếp vào thiết bị khối và rados bench write lên pool production đều có thể gây hại hoặc làm đầy dung lượng. Dùng pool thử riêng hoặc tệp thử có đường dẫn rõ ràng.
  • Mỗi lần đổi một biến (MTU, pg_num, profile mClock) rồi đo lại để biết nguyên nhân.
  • Đo ở ba lớp: phần cứng (đĩa, mạng) → Ceph (OSD, pool) → máy ảo (cái người dùng cảm nhận). Số liệu trong VM thường thấp hơn nhiều so với rados bench; điều này bình thường.
NGUY HIỂM — fio lên thiết bị khối: --filename=/dev/sdb với --rw=write xoá dữ liệu trên đĩa đó, kể cả đĩa OSD đang chạy. Với đĩa có dữ liệu chỉ dùng --readonly hoặc ghi vào một tệp trong thư mục (--filename=/mnt/pve-data01/fio.test).

7.2 CPU và đĩa hệ thống: pveperf

pveperf                       # đĩa gốc /
pveperf /var/lib/vz           # hoặc điểm gắn của storage cần đo

Ví dụ (mẫu):

CPU BOGOMIPS:      44800.00
REGEX/SECOND:      3254322
HD SIZE:           18.58 GB (/dev/mapper/pve-root)
BUFFERED READS:    210.64 MB/sec
AVERAGE SEEK TIME: 0.11 ms
FSYNCS/SECOND:     1520.35
DNS EXT:           24.33 ms
DNS INT:           1.42 ms (hoatranlabs.local)

Theo tài liệu pveperf: REGEX/SECOND nên trên 300000; BUFFERED READS đĩa hiện đại nên đạt ít nhất 40 MB/s; FSYNCS/SECOND nên lớn hơn 200 (thấp là dấu hiệu thiếu bộ đệm ghi được bảo vệ, ảnh hưởng pmxcfs và Ceph). DNS EXT/DNS INT cao bất thường chỉ ra DNS (Pi-hole, bài 12) chậm làm trễ mọi thao tác dùng tên.

7.3 Mạng: iperf3 và kiểm tra MTU

# Trên MỖI node (một lần). IP nghe = IP của chính node đó
DEBIAN_FRONTEND=noninteractive apt install -y iperf3
iperf3 -s -D --bind 10.11.45.210          # node2: .211, node3: .212, node4: .213
iperf3 nghe cổng TCP 5201: nếu đã bật firewall (bài 05) hãy mở tạm cổng này giữa các node trong lúc đo và đóng lại bằng cách tắt server (pkill iperf3) khi xong.
# Từ node1: đo cả hai chiều tới từng node (4 luồng song song, 10 giây)
for ip in 10.11.45.211 10.11.45.212 10.11.45.213; do
  echo "== node1 -> $ip"; iperf3 -c "$ip" -t 10 -P 4 | tail -4
  echo "== $ip -> node1";  iperf3 -c "$ip" -t 10 -P 4 -R | tail -4
done
pkill iperf3        # chạy trên từng node khi đo xong

Kỳ vọng: liên kết 1 GbE đạt khoảng 930–940 Mbit/s; 10 GbE khoảng 9,4 Gbit/s; cột Retr (truyền lại) luôn khác 0 là dấu hiệu rớt gói (cáp, cổng switch, MTU, quá tải). Số thấp hơn 80% tốc độ danh định hoặc bất đối xứng giữa hai chiều cần điều tra trước khi đổ lỗi cho Ceph.

Kết quả iperf3 -P 4 từ node1 tới node2, node3, node4 (cả hai chiều): băng thông ~940 Mbit/s và cột Retr, dùng làm baseline mạng.
Kết quả iperf3 -P 4 từ node1 tới node2, node3, node4 (cả hai chiều): băng thông ~940 Mbit/s và cột Retr, dùng làm baseline mạng.

Kiểm tra MTU thông suốt (cờ -M do cấm phân mảnh; 28 byte là tiêu đề IP+ICMP):

ping -M do -s 1472 -c 3 10.11.45.211      # đường MTU 1500
ping -M do -s 8972 -c 3 10.11.45.211      # chỉ đúng khi toàn đường đã cấu hình MTU 9000
ip -d link show vmbr0 | grep -o 'mtu [0-9]*'
ip -d link show nic0  | grep -o 'mtu [0-9]*'
# Lỗi "Message too long" / "Frag needed and DF set" = có chặng nhỏ hơn MTU bạn thử
NGUY HIỂM — bật jumbo frame (MTU 9000): mọi thành phần trên đường đi phải cùng MTU (NIC, bond, bridge, giao diện VLAN, cổng switch, và FortiGate nếu lưu lượng đi qua nó). Trong thiết kế của lab, vmbr0 mang cả IP quản trị 10.11.45.x; đặt MTU 9000 cho vmbr0 cũng nâng MTU của IP quản trị và Corosync, trong khi FortiGate và các VLAN khác giữ 1500, dễ gây PMTUD "black hole" khó chẩn đoán. Nếu cần jumbo, dùng NIC/VLAN riêng cho mạng storage (VLAN 85) với đầy đủ cấu hình hai đầu, thử trong cửa sổ bảo trì, và đo trước/sau vì lợi ích thực tế thường chỉ vài phần trăm đến khoảng 10% tuỳ tải (kinh nghiệm, không phải cam kết). Lưu cấu hình /etc/network/interfaces cũ và giữ phiên console (IPMI) khi chạy ifreload -a.

7.4 Đĩa và từng OSD: fio (chỉ đọc) và ceph tell osd.N bench

# Đọc tuần tự an toàn (chỉ đọc) trên đĩa OSD: chỉ số thô của đĩa, không đụng dữ liệu
fio --name=seqread --filename=/dev/sdb --readonly --rw=read --bs=1M \
    --direct=1 --iodepth=16 --runtime=30 --time_based --group_reporting

# Đo từng OSD qua chính daemon của nó (an toàn trên OSD đang chạy)
ceph tell osd.0 cache drop
ceph tell osd.0 bench                                  # mặc định: ghi 1 GiB, khối 4 MiB
ceph tell osd.0 bench 12288000 4096 4194304 100        # 4 KiB: TOTAL_BYTES BYTES_PER_WRITE OBJ_SIZE NUM_OBJS
for id in $(ceph osd ls); do echo -n "osd.$id: "; ceph tell osd.$id bench | tr -d '\n '; echo; done

Ví dụ một OSD (mẫu):

{"bytes_written": 1073741824, "blocksize": 4194304, "elapsed_sec": 8.9, "bytes_per_sec": 120640000, "iops": 28.8}

So sánh các OSD cùng loại đĩa: một OSD thấp hơn rõ rệt (< 70% các OSD khác) là ứng viên cho SMART/thay đĩa (mục 3). Kết quả bench cũng là cách Ceph tự ước lượng IOPS để áp dụng cho mClock (osd_mclock_max_capacity_iops_*); xem bằng ceph config show osd.0 | grep mclock_max_capacity.

7.5 Pool Ceph: rados bench trên pool thử

Tạo pool thử riêng để không ảnh hưởng vm-ceph:

pveceph pool create bench-test --size 3 --min_size 2 --pg_autoscale_mode on --add_storages 0
rados bench -p bench-test 60 write -b 4M -t 16 --no-cleanup   # ghi 4 MiB, 16 luồng, giữ lại đối tượng
rados bench -p bench-test 30 seq  -t 16                       # đọc tuần tự các đối tượng vừa ghi
rados bench -p bench-test 30 rand -t 16                       # đọc ngẫu nhiên
rados -p bench-test cleanup                                   # xoá đối tượng thử
pveceph pool destroy bench-test                               # nếu báo mon_allow_pool_delete: bật tạm rồi tắt lại (cần kiểm lại trên máy thật)

Các dòng cần ghi vào baseline (mẫu):

Bandwidth (MB/sec):     58.2
Average IOPS:           14
Average Latency(s):     1.09
Max latency(s):         3.4
Kết quả rados bench -p bench-test 60 write -b 4M -t 16 và các lệnh seq/rand: Bandwidth, Average IOPS, Average/Max Latency.
Kết quả rados bench -p bench-test 60 write -b 4M -t 16 và các lệnh seq/rand: Bandwidth, Average IOPS, Average/Max Latency.

Với mạng 1 GbE dùng chung (mỗi byte ghi phải đi tới 3 OSD) băng thông ghi tổng thể của lab bị giới hạn bởi mạng, không phải bởi đĩa; đó là lý do iperf3 (mục 7.3) phải đo trước. Pool thử đã xoá thì nhớ gỡ storage nếu từng thêm.

7.6 Từ máy ảo: rbd bench, fio và độ trễ fsync

# Mức block (RBD) trên pool thử; tạo ảnh rồi đo 4 KiB ngẫu nhiên, 16 luồng
rbd create bench-test/img1 --size 10G
rbd bench --io-type write --io-size 4K --io-threads 16 --io-total 1G --io-pattern rand bench-test/img1
rbd rm bench-test/img1
# Trong máy ảo Linux (đĩa trên vm-ceph): fio trên TỆP, không chạm thiết bị khối
apt install -y fio
fio --name=randrw --filename=/var/tmp/fio.test --size=4G --rw=randrw --rwmixread=70 \
    --bs=4k --iodepth=32 --ioengine=libaio --direct=1 --runtime=60 --time_based --group_reporting
# Độ trễ đồng bộ như cơ sở dữ liệu/etcd: ghi 4 KiB rồi fdatasync, 1 luồng
fio --name=fsync --filename=/var/tmp/fio.test --size=1G --rw=write --bs=4k \
    --ioengine=sync --fdatasync=1 --runtime=30 --time_based
rm -f /var/tmp/fio.test

Đọc chỉ số clat percentile của bài fsync: K3s dùng etcd (bài 28), và ngưỡng thường dùng cho độ trễ fsync của WAL là phân vị 99 dưới ~10 ms (nêu trong runbook etcdHighFsyncDurations của Prometheus Operator và hướng dẫn của Red Hat OpenShift; chưa tìm thấy câu tương đương trên etcd.io, nên coi là quy ước cộng đồng). Lab trên vm-ceph qua 1 GbE có thể vượt ngưỡng này khi cluster bận, và khi đó control plane K3s dễ mất leader. Gói fio của Debian 13 phụ thuộc librbd1 nên thường đã có engine rbd (kiểm bằng fio --enghelp | grep rbd); nếu không có thì rbd bench ở trên đủ cho mức block.

7.7 Baseline: script và bảng so sánh

Lưu thành /usr/local/sbin/pve-baseline.sh trên mỗi node, chạy tay hằng quý (ngoài giờ) hoặc sau thay đổi lớn:

#!/usr/bin/env bash
# pve-baseline.sh — ghi baseline hiệu năng của MỘT node (an toàn: không ghi lên dữ liệu thật)
# Cách dùng: pve-baseline.sh <IP-node-khác-để-đo-iperf3>
set -uo pipefail
PEER=${1:-}
OUT=/var/lib/pve-baseline
mkdir -p "$OUT"
F="$OUT/$(hostname -s)-$(date +%F).txt"
{
  echo "# baseline $(hostname -s) $(date -Is)"
  pveversion
  echo "## pveperf /";  pveperf
  if [ -n "$PEER" ]; then echo "## iperf3 -> $PEER"; iperf3 -c "$PEER" -t 10 -P 4 | tail -3; fi
  echo "## ceph tell osd.N bench (OSD thuộc node này)"
  for id in $(ceph osd ls-tree "$(hostname -s)" 2>/dev/null); do
    echo -n "osd.$id: "; ceph tell osd."$id" bench 2>&1 | tr -d '\n '; echo
  done
  echo "## ceph osd perf"; ceph osd perf
} | tee "$F"
echo "Đã lưu: $F"
# So sánh hai lần đo của cùng một node
diff <(grep -E 'FSYNCS|BUFFERED|bytes_per_sec' /var/lib/pve-baseline/node1-2026-07-01.txt) \
     <(grep -E 'FSYNCS|BUFFERED|bytes_per_sec' /var/lib/pve-baseline/node1-2026-10-15.txt)

Bảng baseline lab (số trong bảng là mẫu, thay bằng số của bạn và lưu cùng ngày đo):

Chỉ sốCách đoBaseline lab (mẫu)Ngưỡng điều tra
FSYNCS/SECOND đĩa hệ thốngpveperf≥ 1000< 200 (ngưỡng của tài liệu)
Băng thông giữa 2 nodeiperf3 -P 4940 Mbit/s< 80% baseline, hoặc Retr > 0 kéo dài
Băng thông ghi một OSDceph tell osd.N bench110–120 MB/s< 70% baseline
Ghi pool 4 MiB, 16 luồngrados bench write55–60 MB/s< 70% baseline
Độ trễ commit OSDceph osd perf< 10 ms> 30 ms kéo dài
fsync p99 trong VMfio --fdatasync=1< 10 ms> 10 ms (đặc biệt cho K3s etcd)

7.8 Đọc kết quả: "chậm" thì nhìn ở đâu

Triệu chứngNghi ngờKiểm tra xác nhận
Mọi VM chậm đồng loạt, ceph -s có slow opsBackfill/scrub/OSD lỗi, mạng nghẽnceph health detail; ceph osd perf (OSD nào có commit latency cao); mục 6.5, mục 3
Một VM chậm, VM khác bình thườngVM bị giới hạn IO, dồn CPU, swap trong VM, "hàng xóm ồn"iostat -xz 2 trong VM; trên node: top, pvesh get /nodes/node1/qemu/245/rrddata --timeframe hour
Chậm sau mỗi lần migrate/backupMạng chung với Corosync/Cephiperf3, sar -n DEV 2; giới hạn băng thông (bwlimit, mục 9.5)
iperf3 thấp hoặc Retr caoCáp, cổng switch, duplex, MTUethtool nic0, ethtool -S nic0 | grep -iE 'err|drop|crc', mục 9.5
OSD bench thấp ở một OSDĐĩa hỏng/sắp hỏng, thiếu cachesmartctl -a, thay đĩa (mục 3)
Độ trễ cao chỉ khi ghi nhỏ đồng bộĐĩa không có bộ nhớ đệm ghi được bảo vệ (SSD tiêu dùng), FSYNCS thấppveperf, fio --fdatasync=1; dùng SSD doanh nghiệp có PLP
Dung lượng sử dụng > 70%Ceph chậm lại khi OSD gần đầy, recovery đè lên I/OMục 9.1
08

Runbook G — Restore & DR

Chọn đúng kịch bản · Restore một VM · Đo RTO bằng bài kiểm tra khôi phục định kỳ

Thuộc tínhGiá trị
Mức độP3 (1 VM xoá nhầm/hỏng); P2 (nhiều VM, hoặc PBS Primary mất); P1 (mất cả cluster/site chính)
RTO / RPO ví dụRPO ≤ 24 giờ (backup 22:00 hằng ngày, bài 04); VM 100 GB từ NFS 1 GbE: vài chục phút (đo thật ở 8.3); Tier 0 tại DR: ≤ 1–2 giờ, Tier 1: ≤ 4–8 giờ
Điều kiện tiên quyếtBài 04 hoàn tất: storage pbs-primary, namespace st-20, đã từng restore thử; nếu bật mã hoá phía client: có file key (bài 04 mục 6.6)

8.1 Chọn đúng kịch bản

Kịch bảnLàm gìTham chiếu
Xoá nhầm hoặc hỏng một/vài VMRestore VM từ pbs-primary (mục 8.2)Bài 04 mục 6.5, 7.4
Cần vài tệp trong VMVM → Backup → chọn bản → File Restore (không restore cả VM)Bài 04 mục 6.5
Ransomware/mất toàn bộ clusterRestore từ DR (mục 8.5); tắt Sync Job trướcBài 04 mục 11.1, 11.2
pbs01 (VM101) hoặc NAS chính hỏngDựng lại PBS, gắn lại datastore (mục 8.4)Bài 04 mục 11.3

8.2 Restore một VM

Cách 1: GUI (Storage pbs-primary → Backups)

Trong Server View: node → pbs-primary → Backups, lọc theo VMID hoặc namespace, chọn bản sao mong muốn (kiểm tra cột Verify State là OK) → Restore: Storage = vm-ceph; để trống VM ID nếu muốn ghi đè đúng VMID (có cảnh báo) hoặc nhập VMID mới; tick Unique (MAC mới); bỏ tick Start after restore khi restore cạnh bản gốc; tick Live restore nếu cần VM chạy ngay trong khi dữ liệu còn đang được kéo về (chỉ với PBS).

Hộp thoại Restore của Storage pbs-primary → Backups: Storage vm-ceph, VM ID mới, tick Unique, bỏ Start after restore (tuỳ chọn Live restore).
Hộp thoại Restore của Storage pbs-primary → Backups: Storage vm-ceph, VM ID mới, tick Unique, bỏ Start after restore (tuỳ chọn Live restore).

Cách 2: CLI (qmrestore, pct restore)

pvesm list pbs-primary --vmid 245                    # liệt kê các bản sao của VM 245
# volid có dạng pbs-primary:backup/vm/245/2026-10-14T15:00:03Z  (giờ trong tên bản backup là UTC: 22:00 giờ VN = 15:00Z)

# Restore sang VMID mới để thử, cô lập khỏi mạng thật
qmrestore pbs-primary:backup/vm/245/2026-10-14T15:00:03Z 9245 --storage vm-ceph --unique 1
qm set 9245 --net0 virtio,bridge=vmbr0,tag=55,firewall=1    # VLAN cô lập không có gateway (cần kiểm lại với FortiGate)
qm start 9245

# Container
pct restore 9246 pbs-primary:backup/ct/246/2026-10-14T15:00:11Z --storage vm-ceph --unique 1

Chạy ngay trong khi dữ liệu còn đang được kéo về (chỉ PBS):

qmrestore pbs-primary:backup/vm/245/2026-10-14T15:00:03Z 9245 --storage vm-ceph --unique 1 --live-restore 1
NGUY HIỂM — ghi đè VM đang tồn tại: qmrestore ... --force 1 (hoặc restore vào đúng VMID hiện có) xoá VM hiện tại và thay bằng bản backup. Trước khi dùng: qm stop, chụp qm config, đổi tên/giữ lại bản cũ (hoặc backup lại nó) và chắc chắn bạn chọn đúng thời điểm khôi phục. Với VM đang trong HA, gỡ khỏi HA (ha-manager remove vm:245) trước khi restore và thêm lại sau.

Sau khi restore xong (cả test lẫn thật):

  1. Kiểm tra boot, filesystem, dịch vụ và dữ liệu (bài 04 mục 7.4); ghi thời gian restore thực tế (RTO).
  2. Kiểm NIC/VLAN/IP trước khi nối vào mạng thật để không trùng IP với bản gốc.
  3. VM thật: ha-manager add vm:<VMID> --state started --max_restart 2 --max_relocate 1 nếu trước đây trong HA; kiểm tra job backup đã bao gồm VMID mới; xoá VM thử (qm destroy 9245 --purge).
  4. Dịch vụ có trạng thái nhạy cảm: Vault (cần unseal), K3s etcd (kiểm tra quorum etcd), cơ sở dữ liệu (kiểm tra nhất quán), Samba AD DC (dc1 là DC duy nhất nên restore không gây USN rollback; nếu sau này có DC thứ hai phải theo thủ tục riêng của Samba).

8.3 Đo RTO bằng bài kiểm tra khôi phục định kỳ

Mỗi tháng restore thử một VM Tier 0–1 vào VLAN cô lập và điền biên bản:

TrườngVí dụ (mẫu)
Ngày / người thực hiện2026-10-15 / sysadmin
VM, VMID, kích thước, bản backuppihole, 247, 20 GB, 2026-10-14T15:00:03Z
Bắt đầu restore → VM khởi động xong14:02 → 14:11 (9 phút)
Dịch vụ trong VM hoạt động (kiểm tra cụ thể)dig @<IP_VM_thử> node1.hoatranlabs.local trả đúng
RTO đo được / RTO cam kết9 phút + 5 phút kiểm tra / 60 phút
Vấn đề phát hiện, hành độngKhông có

Tiêu chí của bài 04: backup chỉ được coi là hoàn thành khi backup thành công, verify không lỗi và restore thử đáp ứng RPO/RTO.

8.4 PBS Primary hoặc NAS chính mất

Hỏng gìTriệu chứngLàm gì
VM pbs01 (VM101) mất, NAS còn dữ liệuStorage pbs-primary inactive trên PVE; job backup lỗiDựng VM PBS mới (bài 04 mục 3), cài đặt cùng tên/IP, mount NFS, gắn lại datastore không xoá dữ liệu: proxmox-backup-manager datastore create syno-primary /mnt/pbs-primary --reuse-datastore true (bài 04 mục 11.3). Khôi phục /etc/proxmox-backup từ bản sao nếu có, hoặc tạo lại user/token/ACL/namespace. Chứng chỉ mới làm fingerprint đổi: pvesm set pbs-primary --fingerprint '<FINGERPRINT_MỚI>' và cập nhật Remote ở PBS-DR, PDM
NAS syno-primary hỏngDatastore unavailable; mount lỗiChuyển sang DR (mục 8.5); sửa/dựng NAS rồi đồng bộ ngược một lần có kiểm soát (bài 04 mục 11.2, bước failback)
PBS và NAS cùng mất (cháy, ransomware)Không còn PrimaryDR (mục 8.5)
Backup ghi vào đĩa OS vì NFS chưa mountĐĩa OS của PBS đầyBài 04 mục 4.2 (chattr +i, RequiresMountsFor)

8.5 DR tại site phụ (node5/node6 + pbsdr01)

Dữ liệu chỉ đi Primary → DR (bài 04 mục 8); trong thảm hoạ, DR trở thành nguồn duy nhất, nên tuyệt đối không để sync ngược chạy khi Primary còn nghi ngờ.

Bước 1. Cắt luồng đồng bộ. Tắt (Disable) mọi Sync Job liên quan để dữ liệu hỏng/mã hoá không lan sang DR (bài 04 mục 11.2, bước 1).

Bước 2. Khai báo PBS-DR làm nguồn restore trên node5 (token chỉ đọc DatastoreReader tại /datastore/pbs-dr, cấp cho cả user lẫn token; bài 04 mục 8.1.1):

# Trên node5 (PVE standalone site phụ)
pvesm add pbs pbs-dr --server 10.100.100.6 --datastore pbs-dr --namespace st-20 \
  --username '<USER>@pbs!<TOKEN>' --password '<TOKEN_SECRET>' --fingerprint '<FINGERPRINT>'
pvesm list pbs-dr --vmid 247

Bước 3. Chọn bản mới nhất có Verify OK, restore vào mạng cô lập, kiểm tra, rồi mới đưa vào dùng:

qmrestore pbs-dr:backup/vm/247/<thời-điểm> 247 --storage <STORAGE_CỤC_BỘ_NODE5> --unique 1

Bước 4. Thứ tự khôi phục (theo phụ thuộc giữa dịch vụ, VMID theo bảng quy hoạch chung của lab):

Thứ tựVM (VMID)Vì sao trướcKiểm tra sau khi lên
1pihole (247)Mọi dịch vụ phân giải tên qua DNS nàydig @<IP> node5.hoatranlabs.local
2dc1 (250)Samba AD: DNS thẩm quyền, Kerberos, LDAP cho các dịch vụ kháchost -t SRV _ldap._tcp.hoatranlabs.local
3step-ca (242)Cấp chứng chỉ TLS cho Authentik, Gitea, Harbor…curl https://step-ca.hoatranlabs.local:9000/health (tin cậy root CA, bài 13)
4authentik (234), mailu (246), prometheus (235), grafana (236), vault (269)Đăng nhập một lần, gửi thư cảnh báo, giám sát; Vault cần unsealĐăng nhập OIDC; gửi thư thử; cảnh báo hoạt động
5wazuh (280), gitea (240), harbor (239), nexus (267), sonarqube (266), s3 (268), K3s (260–265)Dịch vụ phát triển, bảo mật, lưu trữTheo bài của từng dịch vụ
6Các VM còn lạiTheo mức ưu tiên kinh doanh—

Hạn chế cần giải quyết trước (lab chưa có kế hoạch sẵn): site phụ chỉ có dải 10.100.100.0/24, nhưng các VM thuộc VLAN 25/45/65/85. Cần quyết định trước thảm hoạ: định tuyến các VLAN sang site phụ qua FortiGate hay đổi IP khi restore (cloud-init/console), cập nhật bản ghi Pi-hole tương ứng và lưu bảng ánh xạ IP DR (gợi ý ghi trong NetBox, bài 23). Dung lượng và RAM của node5/node6 cũng phải đủ cho Tier 0–1; ghi số liệu này vào tài liệu DR.

Bước 5. Backup mới trong thời gian chạy DR: trỏ job backup sang pbs-dr bằng token có DatastoreBackup (token chỉ đọc ở bước 2 không ghi được; bài 04 mục 11.2, bước 4).

Bước 6. Failback: dựng lại Primary, đồng bộ dữ liệu từ DR về Primary một lần có người phê duyệt, kiểm tra, rồi khôi phục chiều Primary → DR và bật lại Sync Job (bài 04 mục 11.2, bước 5). Ghi thời gian thực tế và cập nhật RPO/RTO (bước 6 của bài 04).

09

Runbook H — Sự cố tài nguyên

Ceph đầy · PBS datastore đầy · Đĩa SMART lỗi

MãSự cốMức
9.1Ceph đầy (nearfull / backfillfull / full)P3 → P2 → P1
9.2PBS datastore đầyP2 (P3 khi mới 80–85%)
9.3Đĩa cảnh báo SMARTP3 (P2 nếu OSD đã lỗi)
9.4Lệch giờ giữa các nodeP3
9.5Đứt mạng Corosync / lệch MTUP1/P2

9.1 Ceph đầy

Ngưỡng mặc định (kiểm bằng ceph osd dump | grep ratio): nearfull 0,85 (cảnh báo), backfillfull 0,90 (Ceph không backfill vào OSD này), full 0,95 (chặn ghi: mọi VM ghi vào Ceph có thể bị treo I/O).

Triệu chứng: OSD_NEARFULL, OSD_BACKFILLFULL, OSD_FULL trong ceph health detail; VM đóng băng khi ghi; backfill dừng với backfill_toofull.

Chẩn đoán:

ceph df detail                                   # RAW theo CLASS (ssd/hdd) và từng pool: STORED, %USED, MAX AVAIL, QUOTA
ceph osd df tree                                 # %USE từng OSD theo host và class: tầng nào đầy, OSD nào lệch nhiều?
ceph osd dump | grep -E 'full_ratio|backfillfull_ratio|nearfull_ratio'
rbd du -p vm-ceph                                # dung lượng thực của từng ảnh trên tầng SSD (có thể mất vài phút)
rbd du -p vm-bulk                                # như trên cho tầng HDD (đĩa dữ liệu scsi1)
pvesm status                                     # Total/Used/Available/% của vm-ceph và vm-bulk theo góc nhìn PVE

Công thức dung lượng an toàn: để cluster N host tái tạo đủ bản sao sau khi mất 1 host mà không chạm nearfull, dung lượng RAW đã dùng phải ≤ (N−1)/N × 0,85. Với 4 host: 0,75 × 0,85 ≈ 64%, nên đặt mục tiêu vận hành ≤ 60% (cũng là ngưỡng cảnh báo sớm của bài 10 mục 8.4). Lab có hai tầng (bài 07 mục 8.4): tính riêng từng class. Vùng an toàn ≈ 160 GB dữ liệu cho vm-ceph (SSD, usable ≈ 266 GB) và ≈ 200 GB cho vm-bulk (HDD, usable ≈ 333 GB); tầng SSD chứa hệ điều hành của mọi VM nên thường đầy trước (bài 07 mục 8.6).

Hành động (theo thứ tự):

  1. Giải phóng chỗ thật sự (tắt VM không giải phóng dung lượng Ceph): xoá snapshot cũ, VM/đĩa thừa, đĩa unused.
qm listsnapshot 245
qm delsnapshot 245 <tên-snapshot>
pvesm list vm-ceph                               # mọi ảnh RBD và VMID chủ của chúng (tầng HDD: pvesm list vm-bulk)
pvesh get /cluster/resources --type vm           # VM còn tồn tại; ảnh có VMID không còn trong danh sách là mồ côi (kiểm tra kỹ rồi mới xoá)
# Trong VM Linux có bật discard trên đĩa: trả lại khối đã xoá cho Ceph
fstrim -av
  1. Thêm dung lượng: pveceph osd create /dev/sdX --crush-device-class <ssd|hdd> (từng OSD một, mục 3; cùng class với tầng đang đầy, bài 07 mục 8.5); đây là cách giải quyết gốc.
  2. Cân bằng lại nếu lệch: ceph balancer status; ceph balancer mode upmap; ceph balancer on; hoặc chạy thử ceph osd test-reweight-by-utilization trước khi ceph osd reweight-by-utilization (mặc định điều chỉnh các OSD lệch ±20% so với trung bình).
  3. Khi OSD đã full và không xoá được dữ liệu: nâng nhẹ ngưỡng chỉ để cho phép xoá.
NGUY HIỂM — ceph osd set-full-ratio: nâng ngưỡng chỉ là phao cứu sinh vài phút. Ceph cần chỗ trống để tái tạo bản sao; để ngưỡng cao và để dữ liệu tiếp tục tăng dễ dẫn tới OSD đầy thật và hỏng dữ liệu. Chỉ nâng từng chút (ví dụ 0,95 → 0,96), xoá dữ liệu ngay, rồi trả về mặc định.
ceph osd set-full-ratio 0.96           # tạm thời
# ... xoá snapshot/VM thừa ...
ceph osd set-full-ratio 0.95           # trả về mặc định ngay khi xong

Trường hợp tầng HDD (vm-bulk) đầy (ceph osd df tree cho thấy OSD class hdd đầy còn OSD ssd còn chỗ): trước hết các VM có đĩa dữ liệu scsi1 bị treo I/O (VM235 Loki, 239 Harbor, 241 MediaMTX, 251 samba01, 267 Nexus, 268 SeaweedFS theo bài 07 mục 8.1); VM chỉ dùng SSD thường vẫn chạy, nhưng phạm vi chặn ghi khi mới một class đầy cần kiểm lại trên máy thật. Làm theo thứ tự:

  • Tìm thủ phạm: rbd du -p vm-bulk (ảnh vm-<VMID>-disk-N lớn nhất).
  • Dừng ghi dịch vụ lớn trước khi dọn, kẻo chỗ vừa giải phóng bị lấp lại ngay: trong VM, docker compose stop ở thư mục compose của SeaweedFS (bài 32), Loki (bài 33), Nexus (bài 31); Harbor (bài 21), MediaMTX (bài 27) nếu là thủ phạm.
  • Dọn trong ứng dụng rồi trả khối cho Ceph: rút ngắn retention Loki (bài 33), cleanup policy và Compact blob store của Nexus (bài 31), garbage collection Harbor (bài 21), xoá bucket cũ của SeaweedFS (bài 32); sau đó sudo fstrim -v <thư mục dữ liệu> trong VM rồi kiểm lại bằng rbd du -p vm-bulk.
  • Di chuyển đĩa dữ liệu sang storage khác còn chỗ nếu dọn không đủ. Không chuyển sang vm-ceph khi SSD đã chạm vùng an toàn ≈ 160 GB:
# Đích phải là storage khác còn đủ chỗ cho dữ liệu THẬT (xem pvesm status); chuyển sang cùng pool đang đầy là vô ích
qm disk move 267 scsi1 <storage-đích> --bwlimit 51200 --delete 1    # 51200 KiB/s ≈ 50 MiB/s; --delete 1 xoá ảnh cũ sau khi chép xong
rbd du -p vm-bulk                                                   # kiểm tra chỗ đã trả

Đổi định dạng (RBD raw sang qcow2 ở storage kiểu tệp) và hiệu năng sau khi chuyển cần kiểm lại trên máy thật. Cách giải quyết gốc vẫn là thêm OSD HDD cùng class cho cả 4 node (bước 2 ở trên). Lệnh theo dõi, quota từng pool và bảng giữ dung lượng thật nhỏ: bài 07 mục 8.7.

Xác minh: ceph health detail hết NEARFULL; ceph osd df tree mọi OSD (cả SSD lẫn HDD) dưới 85%; thử tạo/ghi VM thử.

Phòng ngừa: cảnh báo 60% theo OSD (bài 10 mục 8.4); không để thin-provision ảo vượt quá dung lượng thật (cột disk/xdisk của bài 07 chỉ là trần danh nghĩa, đo thật bằng rbd du); quota từng pool (ceph osd pool set-quota vm-ceph max_bytes ..., vm-bulk tương tự; ví dụ 170/210 GB ở bài 07 mục 8.7); kế hoạch mua đĩa sớm.

9.2 PBS datastore đầy

Triệu chứng: job backup lỗi no space left on device; df -hT /mnt/pbs-primary gần 100%; GC/prune/verify thất bại liên hoàn (bài 04 mục 7.3 nêu ngưỡng hành động trước 85%).

Chẩn đoán và hành động:

df -hT /mnt/pbs-primary
proxmox-backup-manager garbage-collection status syno-primary
proxmox-backup-manager prune-job list
proxmox-backup-manager task list | head -20

# Thu hồi chỗ: prune theo chính sách rồi GC (hoặc bấm Run now trên GUI: Datastore → Prune & GC)
proxmox-backup-manager prune-job run prune-primary       # kiểm cú pháp bằng: proxmox-backup-manager prune-job --help
proxmox-backup-manager garbage-collection start syno-primary

Điểm cần nhớ: prune không giải phóng dung lượng ngay; GC chỉ xoá chunk không còn được tham chiếu và có atime cũ hơn 24 giờ 5 phút trước khi GC bắt đầu (các chunk còn lại hiển thị Pending removals), nên dung lượng thường chỉ giảm rõ sau lần GC thứ hai.

Tình huốngCách xử lý
Còn ≥ 10–15% trốngprune + GC như trên; giảm retention nếu cần (bài 04 mục 7.1)
Đầy 95–100%, GC không chạy đượcGiải phóng chỗ ở tầng NAS trước: tăng dung lượng volume/quota, xoá snapshot Btrfs cũ hoặc thùng rác (#recycle) của shared folder; sau đó chạy GC. Tài liệu PBS không mô tả riêng tình huống này, cần kiểm lại trên máy thật
Cần xoá một nhóm backup cụ thểDùng GUI (Datastore → Content → Forget) hoặc proxmox-backup-client snapshot forget <loại/id/thời-điểm> (kèm cờ --ns đúng namespace của nhóm đó); vẫn cần GC để thu hồi
Datastore sắp đầy lặp lạiMở rộng NAS, bật nén/dedup hợp lý, rà lại retention, cân nhắc nhiều datastore
NGUY HIỂM — không xoá tệp thủ công trong thư mục .chunks: thư mục chunk được nhiều bản backup dùng chung; xoá tay gây hỏng hàng loạt bản backup mà không có cảnh báo cho tới lúc restore. Chỉ dùng prune/forget rồi GC.

Xác minh: df còn ≥ 20% trống; chạy lại một backup thử; verify job không lỗi. Phòng ngừa: cảnh báo 70–80% (bài 10, bài 15), headroom 20%+ (bài 04 mục 3.1), lịch Prune/GC/Verify không chồng nhau.

9.3 Đĩa SMART lỗi

lsblk -o NAME,SIZE,MODEL,SERIAL,TYPE
smartctl -H -A /dev/sdb                               # SATA/SAS
smartctl -a /dev/nvme0                                # NVMe
pvesh get /nodes/node1/disks/smart --disk /dev/sdb    # cùng dữ liệu qua API của PVE (GUI: node → Disks → Show S.M.A.R.T.)
ceph device ls                                        # Ceph gán đĩa với OSD
smartctl -t short /dev/sdb                            # tự kiểm ngắn (khoảng 2 phút); kết quả: smartctl -l selftest /dev/sdb
Thuộc tínhDấu hiệu nguy hiểmHành động
Reallocated_Sector_Ct (5), Current_Pending_Sector (197), Offline_Uncorrectable (198)Giá trị khác 0 và tăngP3: lên kế hoạch thay; nếu OSD đã báo lỗi: mục 3
UDMA_CRC_Error_Count (199)TăngThường là cáp/backplane, không phải đĩa: đổi cáp trước
NVMe: Critical Warning, Media and Data Integrity Errors, Percentage UsedCảnh báo khác 0, hoặc đã dùng gần 100% tuổi thọThay đĩa; NVMe thường chết nhanh sau khi vượt ngưỡng
SMART overall-health = FAILED—Thay ngay (P2)

Đĩa trên VM lab (QEMU HARDDISK) không có SMART thật; phần này chỉ kiểm chứng được trên máy chủ vật lý. Cấu hình smartd và gửi cảnh báo mail/Gotify ở bài 10; Ceph có thêm cảnh báo DEVICE_HEALTH dựa trên module devicehealth.

9.4 Lệch giờ

Triệu chứng: Ceph MON_CLOCK_SKEW (clock skew detected on mon.node2; ngưỡng mon_clock_drift_allowed mặc định 0,05 giây); lỗi TLS/chứng chỉ "not yet valid", token PBS/PDM bị từ chối, mã TOTP sai (bài 02, bài 04 đã nhắc NTP).

timedatectl                                  # System clock synchronized: yes
chronyc tracking                             # System time, Last offset, Leap status
chronyc sources -v                           # nguồn nào đang được chọn (^*)
chronyc sourcestats
for n in node1 node2 node3 node4; do echo -n "$n: "; ssh -o ConnectTimeout=5 root@$n 'date +%s.%N'; done   # lệch giữa các node

Xử lý: bảo đảm mọi node cùng một bộ nguồn NTP nội bộ ổn định; mở UDP 123 trong firewall (bài 05); systemctl restart chrony; nếu lệch lớn: chronyc makestep (nhảy giờ; chỉ làm khi không có tác vụ nhạy cảm vì giờ nhảy có thể làm sai thứ tự log). ceph health detail tự hết cảnh báo sau vài phút khi đồng bộ.

9.5 Đứt mạng Corosync / lệch MTU

Triệu chứng: log corosync: link: host: X link: 0 is down, Token has not been received, retransmit list, thông điệp pmtud về MTU; node chập chờn Online/Offline trong pvecm nodes, giao diện web thỉnh thoảng xám; HA fence "oan".

Chẩn đoán:

corosync-cfgtool -s                                    # trạng thái từng link tới từng node
journalctl -u corosync --since "1 hour ago" | grep -iE 'link|token|retrans|pmtud|mtu' | tail -40
ip -s link show vmbr0                                  # lỗi, rớt gói ở bridge
ethtool nic0 | grep -E 'Speed|Duplex|Link detected'
ethtool -S nic0 | grep -iE 'err|drop|crc'
for n in node1 node2 node3 node4; do echo -n "$n: "; ssh root@$n "ip -o link show vmbr0 | grep -o 'mtu [0-9]*'"; done
ping -M do -s 1472 -c 3 10.11.45.211                   # MTU thông suốt (mục 7.3)
tcpdump -ni vmbr0 -c 20 udp port 5405                  # lưu lượng knet link 0 có đi về hai chiều không?

Ví dụ corosync-cfgtool -s khi node4 mất (mẫu):

Local node ID 1, transport knet
LINK ID 0 udp
        addr    = 10.11.45.210
        status:
                nodeid:          1:     localhost
                nodeid:          2:     connected
                nodeid:          3:     connected
                nodeid:          4:     disconnected

Hành động (từ nhẹ tới nặng):

  1. Giảm tải mạng đang chia sẻ với Corosync: ceph osd set nobackfill và ceph osd set norebalance (gỡ sau), dừng migration/backup lớn, đặt giới hạn băng thông trong /etc/pve/datacenter.cfg (ví dụ bwlimit: migration=51200,restore=51200, đơn vị KiB/s).
  2. Sửa tầng vật lý: thay cáp/SFP, đổi cổng switch, kiểm tra ethtool -S lỗi CRC tăng dần, kiểm tra STP trên switch (hội tụ chậm có thể làm token Corosync mất vài chục giây) và LACP: với bond 802.3ad đặt bond-lacp-rate fast ở cả hai đầu.
  3. Đồng nhất MTU trên toàn đường đi; quay lại MTU 1500 nếu không chắc.
  4. Thêm link Corosync thứ hai (mục 4.5) trên đường vật lý khác để một đứt không làm mất link.
  5. Không khởi động lại corosync đồng loạt: làm lần lượt từng node như bài 03 mục 3.4, chờ đủ phiếu giữa các lần.

Xác minh: corosync-cfgtool -s mọi link connected trong 30 phút; journalctl -u corosync không còn link ... is down; iperf3 đạt baseline (mục 7.7).

Phòng ngừa: link Corosync riêng (NIC/VLAN riêng, độ trễ < 5 ms theo tài liệu Proxmox); tách Ceph cluster_network; giám sát độ trễ giữa các node và cảnh báo khi link flap (bài 10); không bật jumbo frame khi chưa kiểm hai đầu.

10

Cô lập sự cố trên cluster lớn và nhiều cluster (PDM)

Bán kính ảnh hưởng (blast radius) · Quy trình cô lập · Thu thập trạng thái đồng loạt

Khi hạ tầng có hàng chục tới hàng trăm node, câu hỏi đầu tiên không còn là "lệnh nào" mà là "sự cố nằm ở đâu và rộng đến đâu". Mục này là khung suy nghĩ + công cụ để thu hẹp phạm vi nhanh.

10.1 Bán kính ảnh hưởng (blast radius)

Phạm viDấu hiệuBước đầu tiên
1 VMChỉ một dịch vụ lỗi, node và Ceph bình thườngConsole/log của VM; restore nếu hỏng (mục 8)
1 nodeChỉ VM/OSD của một node lỗiMục 2, 3; đưa node vào maintenance nếu còn đáp ứng
1 rack / 1 switch / 1 PDUNhiều node cùng rack mất link hoặc nguồn đồng loạtKiểm tra switch/PDU/UPS trước; mục 4 nếu mất quorum
1 clusterNhiều node của một cluster có triệu chứng, cluster khác bình thườngMục 4, 5, 9.5; so sánh với cluster khoẻ (mục 10.3)
Nhiều cluster hoặc cả siteNhiều cluster lỗi cùng lúcTìm nguyên nhân chung: DNS (bài 12), NTP, chứng chỉ hết hạn (bài 09), thay đổi từ tự động hoá hay cập nhật (bài 06), WAN/FortiGate, PBS

10.2 Quy trình cô lập

  1. Đóng băng thay đổi: dừng pipeline Ansible/OpenTofu, huỷ cửa sổ cập nhật (bài 06), tạm hoãn thêm node. Phần lớn sự cố lan rộng bắt nguồn từ một thay đổi.
  2. Đối chiếu "thay đổi gần nhất": nhật ký Ansible/Git, apt history, journalctl -u pveproxy, nhật ký firewall (bài 05), thời hạn chứng chỉ (bài 09). Thay đổi trong 24 giờ trước sự cố là nghi phạm số một.
  3. So sánh khoẻ với không khoẻ: chạy cùng bộ lệnh trên cluster khoẻ và cluster lỗi, đối chiếu khác biệt (phiên bản, cấu hình, kernel, MTU).
  4. Chia đôi (bisect): nhóm node theo rack/phiên bản/mới-cũ, kiểm tra nhóm nào bình thường. Mục tiêu là rút gọn từ "cả cluster" xuống "node/liên kết/cấu hình X".
  5. Cô lập node nghi ngờ chỉ khi quorum cho phép: ha-manager crm-command node-maintenance enable <node> nếu còn đáp ứng; nếu node đang gây hại (ví dụ NIC phát gói rác làm cả cluster flap) thì tắt nguồn qua IPMI thay vì tìm cách "sửa từ xa".
  6. Canary: mọi sửa chữa/cập nhật áp dụng cho một node hoặc cluster staging trước, quan sát rồi mới mở rộng (bài 06).

10.3 Thu thập trạng thái đồng loạt

Từ máy quản trị (ops01 ở bài 07, hoặc bất kỳ máy nào có khoá SSH tới các node). Inventory mẫu theo hạ tầng lab:

# inventory/pve.ini — khoá SSH của máy quản trị đã được thêm vào node (bài 05)
[pve_hoatranhub]
node1 ansible_host=10.11.45.210
node2 ansible_host=10.11.45.211
node3 ansible_host=10.11.45.212
node4 ansible_host=10.11.45.213

[pve_standalone]
node5 ansible_host=10.100.100.20
node6 ansible_host=10.100.100.21

[pve:children]
pve_hoatranhub
pve_standalone

[pve:vars]
ansible_user=root
# Hỏi nhanh một câu cho mọi node, kết quả gộp theo node
ansible pve -i inventory/pve.ini -m shell -a "pvecm status | grep -E 'Quorate|Total votes'"
ansible pve_hoatranhub -i inventory/pve.ini -m shell -a "corosync-cfgtool -s | grep -c connected"
ansible pve -i inventory/pve.ini -m shell -a "chronyc tracking | grep -E 'System time|Leap'"
ansible pve -i inventory/pve.ini -m shell -a "pveversion"       # phát hiện lệch phiên bản giữa node
# triage.yml — chạy pve-triage.sh (mục 1.4) trên mọi node và gom kết quả về máy quản trị
---
- name: Thu thập triage (chỉ đọc) từ mọi node PVE
  hosts: pve
  gather_facts: false
  tasks:
    - name: Chạy pve-triage.sh
      ansible.builtin.command: /usr/local/sbin/pve-triage.sh
      changed_when: false
      failed_when: false

    - name: Tìm tệp kết quả mới nhất
      ansible.builtin.shell: ls -1t /root/triage/*.txt | head -1
      register: latest
      changed_when: false

    - name: Lấy về máy quản trị
      ansible.builtin.fetch:
        src: "{{ latest.stdout }}"
        dest: "./triage-out/{{ inventory_hostname }}.txt"
        flat: true
ansible-playbook -i inventory/pve.ini triage.yml
diff triage-out/node1.txt triage-out/node5.txt | head -50   # khoẻ so với không khoẻ

Không có Ansible: vòng lặp SSH đơn giản vẫn đủ cho vài chục node (for n in node1 node2 node3 node4; do echo "== $n"; ssh -o ConnectTimeout=5 root@$n 'pvecm status | grep Quorate'; done); với hàng trăm node dùng Ansible (có -f để song song hoá) hoặc API (pvesh, proxmoxer) thay vì vòng lặp tuần tự.

10.4 Nhiều cluster và Proxmox Datacenter Manager (PDM)

PDM (pdm01, bài 04) cho một điểm nhìn chung tới nhiều cluster/node: Dashboard với widget, danh sách guest và tài nguyên của mọi remote, tổng quan Ceph của remote (Cluster Overview/Detail), chọn tài nguyên theo view. Khi sự cố nhiều cluster, PDM trả lời nhanh câu hỏi "cluster nào đang đỏ". Hạn chế phải nhớ:

Dashboard của Proxmox Datacenter Manager (pdm01): các remote cluster HOATRANHUB, node5, node6 và trạng thái online/offline, dùng để xác định nhanh cluster nào đang đỏ.
Dashboard của Proxmox Datacenter Manager (pdm01): các remote cluster HOATRANHUB, node5, node6 và trạng thái online/offline, dùng để xác định nhanh cluster nào đang đỏ.
  • PDM không thay quorum, không sửa được sự cố cluster, không thay DR (bài 04 mục 9.1); nó chỉ là kính quan sát và điều khiển tập trung.
  • pdm01 (VM102) hiện chạy trên chính cluster HOATRANHUB: khi cluster đó lỗi, PDM cũng có thể mất. Luôn giữ đường vào dự phòng không phụ thuộc PDM: SSH/IPMI trực tiếp tới node, tài khoản cục bộ root@pam/quản trị break-glass (bài 08).
  • Mô tả chi tiết các tính năng PDM xem tài liệu PDM; một số thao tác xuyên cluster (di chuyển giữa remote) cần kiểm lại phiên bản đang dùng.

Quy ước khi vận hành nhiều cluster:

Quy ướcVì sao
Mỗi cluster có tên riêng, dải VMID riêng (ví dụ cluster A: 1000–1999)Tránh trùng VMID khi di chuyển/restore chéo cluster, đúng tinh thần namespace riêng trên PBS ở bài 04 mục 5.6
Mỗi cluster có namespace PBS riêng (st-20 cho HOATRANHUB; ns-node5, ns-node6 cho standalone)Backup group không lẫn nhau, phân quyền hẹp
Nhãn cluster và rack trong inventory, trong Prometheus (bài 15) và log Loki (bài 33)Lọc cảnh báo/biểu đồ theo cluster trong vài giây
Chỉ một người xử lý mỗi cluster tại một thời điểm; kênh sự cố chungTránh hai người cùng đổi cấu hình
Không bao giờ chạy lệnh thay đổi trên "tất cả cluster" khi chưa thử ở một clusterGiữ blast radius nhỏ
pvecm expected, ceph osd purge, --force không đưa vào automationCác lệnh này cần quyết định của con người

Giới hạn kích thước cluster: tài liệu Proxmox không đặt giới hạn cứng số node (Corosync chịu được nhiều node nhưng phụ thuộc phần cứng và mạng; có báo cáo cluster hơn 50 node trong production); yêu cầu độ trễ giữa các node dưới 5 ms. Bài này khuyến nghị thực tế giữ mỗi cluster ở mức vài chục node trở xuống (con số "~30" là kinh nghiệm để blast radius và thời gian khôi phục còn kiểm soát được, không phải giới hạn của Proxmox) và chia nhiều cluster khi vượt ngưỡng đó. Ở quy mô lớn, đặt failure domain của Ceph theo rack/phòng (bucket rack trong CRUSH) thay vì host để mất cả rack không mất dữ liệu; tham khảo tài liệu CRUSH của Ceph.

11

Thông báo, escalation, post-mortem

Ai được gọi khi nào · Mẫu thông báo sự cố · Mẫu post-mortem (không quy lỗi cá nhân)

11.1 Ai được gọi khi nào

MứcNgười nhận đầu tiênLeo thang nếuKênh
P1Người trực (on-call) + quản trị cluster ngayKhông có phản hồi sau 15 phút → trưởng nhóm hạ tầng; kéo dài > 1 giờ → ban lãnh đạo/chủ sở hữu dịch vụĐiện thoại (không chỉ nhắn tin), kênh sự cố trên Mattermost (bài 37), Gotify (bài 15)
P2Người trựcKhông xử lý được sau 1 giờ hoặc nâng lên P1Mattermost, thư (Mailu, bài 16)
P3Quản trị clusterKhông có lịch xử lý trong 3 ngày làm việcPhiếu việc (Gitea issue, bài 22) hoặc thư
P4Người phụ trách theo lịch bảo trì—Phiếu việc

Không có subscription đồng nghĩa không có kênh hỗ trợ có cam kết thời gian từ Proxmox. Khi bế tắc: diễn đàn Proxmox, tài liệu chính thức, danh sách ceph-users. Không đăng lên diễn đàn công khai địa chỉ nội bộ, fingerprint, token, hay log có chứa khoá; che thông tin trước. Nếu SLA cần hỗ trợ có cam kết, đánh giá gói trả phí (mục Công cụ & chi phí).

11.2 Mẫu thông báo sự cố

Đặt các mẫu này trong kênh sự cố hoặc wiki; điền ngoặc nhọn. Cập nhật định kỳ đều (P1: mỗi 30 phút; P2: mỗi 60 phút) kể cả khi "chưa có gì mới".

Mẫu 1 — Phát hiện, đang điều tra:

[SỰ CỐ P2] Hạ tầng Proxmox: node4 mất kết nối — đang điều tra
Phát hiện lúc: 2026-10-15 14:05 (giờ VN)
Ảnh hưởng: các VM chạy trên node4 đã được HA khởi động lại trên node khác sau khoảng 2 phút;
           pbs01/pdm01 gián đoạn tạm thời; backup đêm nay có thể bị trễ.
Tình trạng dữ liệu: Ceph vẫn phục vụ I/O, chưa ghi nhận mất dữ liệu.
Đang làm: kiểm tra phần cứng node4 (phụ trách: <tên>).
Cập nhật tiếp theo: trước 14:35 hoặc khi có thay đổi.
Liên hệ: kênh #su-co (Mattermost) / <số điện thoại trực>

Mẫu 2 — Cập nhật tiến độ:

[CẬP NHẬT P2] node4 — lúc <giờ>
Tình hình: <đã xác định nguyên nhân / đang thay linh kiện / đang rebalance Ceph 62%>
Ảnh hưởng hiện tại: <còn / hết>. Dự kiến hoàn tất: <giờ> (độ tin cậy: thấp/trung bình/cao).
Cần từ người dùng: <không có / tránh tạo VM mới đến <giờ>>.
Cập nhật tiếp theo: <giờ>.

Mẫu 3 — Đã khắc phục:

[ĐÃ KHẮC PHỤC P2] node4 — lúc <giờ>
Đã làm: <thay PSU, node tham gia lại cluster, Ceph HEALTH_OK>.
Xác minh: pvecm status Quorate Yes, ceph -s HEALTH_OK, ha-manager status bình thường.
Theo dõi thêm: <24 giờ>. Nếu thấy bất thường báo ngay tại #su-co.
Post-mortem: dự kiến <ngày> (trong 5 ngày làm việc).

Mẫu 4 — Thông báo bảo trì có kế hoạch (cho thay OSD, cập nhật…):

[BẢO TRÌ] Thay đĩa OSD trên node3 — <ngày>, <giờ bắt đầu>–<giờ kết thúc>
Ảnh hưởng dự kiến: không gián đoạn dịch vụ; hiệu năng đĩa có thể giảm trong lúc Ceph sao chép dữ liệu.
Kế hoạch quay lui: <giữ OSD cũ ở trạng thái out đến khi backfill xong>.
Liên hệ: <người phụ trách>.

11.3 Mẫu post-mortem (không quy lỗi cá nhân)

Hoàn thành trong 5 ngày làm việc sau P1/P2; lưu trong repository nội bộ (Gitea, bài 22).

# Post-mortem: <tiêu đề ngắn> — <ngày>

## Tóm tắt (2–3 câu)
## Tác động
- Dịch vụ/người dùng bị ảnh hưởng, thời lượng, có mất dữ liệu không, RTO/RPO thực tế so với cam kết.
## Dòng thời gian (giờ VN, UTC+7)
| Giờ | Sự kiện | Ai |
|---|---|---|
## Nguyên nhân gốc (hỏi "tại sao" 5 lần, dừng ở nguyên nhân hệ thống, không dừng ở "người X gõ nhầm")
## Điều làm tốt / điều chưa tốt / điều may mắn
## Hành động khắc phục
| # | Việc | Người phụ trách | Hạn | Trạng thái |
|---|---|---|---|---|
## Bài học và chỗ cần cập nhật trong runbook

Ví dụ điền sẵn (minh hoạ giả định, không phải sự cố có thật):

MụcNội dung
Tóm tắtNguồn của node4 hỏng lúc 14:03; HA dựng lại 11 VM trong 2 phút 40 giây; Ceph rebalance 1 giờ 50 phút, không mất dữ liệu
Tác độngpbs01 và pdm01 ngừng 5 phút; backup đêm đó bị trễ 40 phút; RTO thực tế 5 phút so với cam kết 15 phút
Nguyên nhân gốcMột PSU hỏng và PSU thứ hai không được cấp từ nguồn UPS độc lập (cả hai cắm cùng một PDU)
TốtCảnh báo đến trong 40 giây; người trực làm theo mục 2 đúng thứ tự; không dùng pvecm expected
Chưa tốtKhông biết trước dung lượng Ceph đã dùng 66% nên rebalance chạm nearfull ở một OSD
Hành độngCấp nguồn từ hai PDU (hạn 2 tuần); đặt cảnh báo dung lượng Ceph 60% (bài 10); thêm QDevice (mục 4.5); diễn tập lại mục 2 sau 1 quý
12

Diễn tập sự cố (game day)

Runbook không diễn tập thì chỉ là tài liệu. Mỗi quý chạy ít nhất các kịch bản dưới đây trên cluster staging hoặc trong cửa sổ bảo trì đã thông báo, có người ghi giờ và lệnh.

Kịch bảnCách mô phỏng an toànKỳ vọng và số cần đoTần suất
Node bảo trì có kiểm soátha-manager crm-command node-maintenance enable <node>, reboot, disableVM tự di chuyển đi và về; thời gian toàn bộ (bài 06)Mỗi lần cập nhật
1 node chết đột ngộtTắt nguồn một node qua IPMI (không shutdown), có VM HA thử nghiệmVM HA chạy lại sau ~2 phút; ghi RTO thật; Ceph HEALTH_WARN rồi HEALTH_OKMỗi quý
Thay OSDChọn OSD trên node thử: out, chờ, safe-to-destroy, destroy, tạo lại (mục 3)Thời gian backfill; không có slow ops kéo dàiMỗi 6 tháng
Mất quorum có kiểm soátChỉ trên cluster thử nghiệm: tắt đủ node để mất quorum; thực hành mục 4Người trực tìm đúng nguyên nhân và không ép quorum bừaMỗi 6 tháng
Đứt link CorosyncRút cáp link Corosync của một node có VM HA thửNode bị fence, log đúng như mục 5.1, thời gian dựng lạiMỗi 6 tháng
Restore từ PBSMục 8.3: một VM Tier 0 và một VM Tier 1 vào VLAN cô lậpRTO đo được so với cam kếtMỗi tháng
Restore từ DR (pbs-dr) sang node5Mục 8.5, bước 2–3 cho một VM nhỏXác nhận khoá đọc, đường mạng DR và thời gianMỗi quý
Dựng lại pbs01 từ cấu hìnhBài 04 mục 11.3 trên VM thửMục 8.4 chạy được, fingerprint cập nhật đúngMỗi năm
Đo baseline hiệu năngMục 7.7Cập nhật bảng baseline; so với lần trướcMỗi quý

Một buổi diễn tập gồm: (1) thông báo trước ≥ 3 ngày và chuẩn bị quay lui; (2) chạy pve-triage.sh lấy trạng thái trước; (3) thực hiện kịch bản, một người đọc to từng bước runbook; (4) ghi giờ và số đo; (5) khôi phục về trạng thái sạch, kiểm tra HEALTH_OK; (6) cập nhật runbook ở chỗ nào đã sai hoặc thiếu; (7) lưu biên bản như post-mortem rút gọn.

Đừng diễn tập mất quorum hoặc split-brain trên production. Các kịch bản mục 4–5 chỉ thực hiện trên cluster thử nghiệm hoặc môi trường lab dựng riêng; với production chỉ diễn tập kịch bản có kiểm soát (maintenance, thay OSD, restore).
13

Troubleshooting tra nhanh

Triệu chứngNguyên nhânCách xử lý
Web UI: "no quorum", /etc/pve chỉ đọcMất đa số phiếu CorosyncMục 4; sửa node/mạng, không ép pvecm expected khi chưa đủ điều kiện
Node tự reboot đột ngộtMất quorum nên watchdog reset (fence), hoặc lỗi phần cứngjournalctl -b -1 (mục 5.2); đừng coi là lỗi ngẫu nhiên
Dịch vụ HA ở trạng thái errorVượt max_relocate/max_restart, đĩa/cấu hình lỗiSửa nguyên nhân, ha-manager set vm:ID --state disabled rồi started (mục 5.2)
Sau khi cài lại node cùng tên/IP, pvecm add hoặc SSH báo lỗiCòn /etc/pve/nodes/<node>, khoá SSH cũMục 2.4 bước 3; pvecm updatecerts trên node mới
ceph -s treo, VM đứng I/O khi mất nodeMất quorum MON (4 MON cần 3)Bật lại node có MON; mục 4.3 phần E; giảm còn 3 MON
HEALTH_WARN 1 osds down kéo dàiĐĩa hỏng, daemon crash, mạngMục 3.2; ceph-volume lvm activate --all; thay đĩa nếu hỏng
ceph osd purge hoặc destroy bị từ chối (EBUSY)Còn PG ánh xạ vào OSDChờ rebalance xong, ceph osd safe-to-destroy (mục 3.3)
backfill_toofull, OSD_NEARFULLDung lượng gần đầyMục 9.1; không nâng full-ratio trừ khi cấp bách
Backfill làm VM chậm hoặc quá chậmProfile mClock không phù hợpMục 6.5: osd_mclock_profile
Sửa osd_max_backfills nhưng không có tác dụngmClock ghi đèBật osd_mclock_override_recovery_settings true trước (mục 6.5)
POOL_TARGET_SIZE_RATIO_OVERCOMMITTEDTổng target_size_ratio các pool vượt 1Sửa lại tỉ lệ (mục 6.3)
TOO_MANY_PGSSố PG mỗi OSD vượt giới hạnThêm OSD, hoặc giảm pg_num cẩn thận (mục 6.4)
MON_CLOCK_SKEWLệch giờ giữa các MONMục 9.4: chronyc, nguồn NTP chung
Corosync log link ... is down lặp lạiCáp, switch, MTU, băng thông bị chiếmMục 9.5
rados bench/iperf3 thấp bất thườngMạng dùng chung bị bão hoà, backfill đang chạyMục 7.3; dừng backfill tạm; đo lại
VM restore xong trùng IP hoặc mất mạngMAC/IP trùng bản gốc hoặc VLAN saiTick Unique, nối VLAN cô lập trước (mục 8.2)
Restore báo cần khoá / không giải mã đượcBackup mã hoá phía clientLấy file key .enc đã lưu offline (bài 04 mục 6.6)
Storage pbs-primary inactive sau khi dựng lại PBSFingerprint đổipvesm set pbs-primary --fingerprint '<FP>', cập nhật Remote ở PBS-DR/PDM (mục 8.4)
PBS đầy, GC không giải phóng ngayCutoff 24 giờ 5 phút, prune chưa kèm GCMục 9.2; chạy GC và chờ lần GC kế tiếp
pveceph pool destroy báo mon_allow_pool_deleteCờ bảo vệ xoá poolBật tạm cho lần xoá rồi tắt lại (cần kiểm lại trên máy thật)
Đổi watchdog xong HA không fenceModule không khớp phần cứng, chưa rebootMục 5.4; xem watchdog-mux, ha-manager status
14

Checklist nghiệm thu

  • /usr/local/sbin/pve-triage.sh có trên mọi node, chạy được trong < 1 phút và lưu /root/triage/
  • Bảng mức độ P1–P4, RTO/RPO và kênh liên hệ đã được người trực đọc và chấp thuận
  • backup-node-config.sh chạy hằng ngày 05:30 trên mọi node; đã kiểm tra tệp .tgz giải nén được; quyền 600
  • Quy trình thay node (mục 2.4) đã đọc bởi ít nhất hai người; đã diễn tập trên node thử hoặc lab
  • Xác nhận pvecm status hiển thị đúng Quorum 3 với 4 node; đội trực hiểu mất 2 node là mất quorum
  • QDevice đã triển khai (hoặc ghi nhận rủi ro đã chấp nhận); corosync-qdevice ở mọi node, qnetd nằm ngoài cluster
  • Có link Corosync thứ hai trên đường vật lý khác (hoặc kế hoạch và thời hạn)
  • Số MON là số lẻ (3) hoặc rủi ro 4 MON được ghi nhận
  • Watchdog: biết đang dùng softdog hay phần cứng; production dùng watchdog phần cứng
  • ha-manager status: quorum OK, fencing armed; đã diễn tập node chết đột ngột một lần, ghi RTO thật
  • Đã thay thử một OSD trên node thử theo mục 3.3 (có safe-to-destroy), ghi thời gian backfill
  • ceph osd pool autoscale-status khớp kỳ vọng; target_size_ratio của vm-ceph đã đặt; không có cờ noout/norebalance bỏ quên
  • Biết cách đổi profile mClock và cờ osd_mclock_override_recovery_settings; đã thử hoàn tác
  • Baseline hiệu năng (pveperf, iperf3, ceph tell osd.N bench, rados bench, fsync p99) đã ghi kèm ngày/điều kiện
  • Kiểm tra MTU thông suốt giữa mọi cặp node (ping -M do), cùng MTU trên mọi node
  • Đã restore thử một VM từ pbs-primary vào VLAN cô lập, ghi RTO; lặp lại hằng tháng
  • Đã restore thử một VM nhỏ từ pbs-dr sang node5; token đọc DR và đường mạng DR hoạt động
  • Thứ tự khôi phục DR (mục 8.5) và kế hoạch IP DR đã được quyết định, lưu cùng tài liệu DR
  • Cấu hình PBS (/etc/proxmox-backup), file key mã hoá và bảng token được lưu ngoài cluster
  • Cảnh báo dung lượng Ceph (60% theo OSD, tách tầng SSD/HDD) và PBS (70–80%), SMART, lệch giờ, quorum đã gửi về kênh sự cố (bài 10)
  • Đã thử gửi một thông báo mẫu (mục 11.2) tới kênh sự cố; mọi người trực nhận được
  • Mẫu post-mortem (mục 11.3) có trong repository nội bộ
  • Inventory Ansible (mục 10.3) và triage.yml chạy được từ máy quản trị
  • Lịch diễn tập (mục 12) đã vào lịch của nhóm hạ tầng
15

Tài liệu tham khảo

Proxmox VE (tài liệu chính thức)

Ceph (Tentacle)

Proxmox Backup Server, Datacenter Manager

Khác

  • Quy ước độ trễ fsync WAL của etcd (runbook Prometheus Operator): https://runbooks.prometheus-operator.dev/runbooks/etcd/etcdhighfsyncdurations/
  • Các bài trong chuỗi: bài 03 (Cluster + Ceph + HA), bài 04 (PBS + PDM), bài 05 (Firewall & Hardening), bài 06 (Cập nhật cuốn chiếu & Ceph Upgrade), bài 07 (Template & cloud-init, tạo ops01), bài 08 (RBAC), bài 09 (ACME + step-CA), bài 10 (Thông báo, Ceph/SMART, UPS)

Các điểm cần kiểm lại trên máy thật (chưa xác minh được từ tài liệu): đường A kích hoạt lại OSD cũ bằng ceph-volume lvm activate --all sau khi cài lại node (dựa trên tài liệu Proxmox và kinh nghiệm diễn đàn); việc di chuyển file .conf của VM không HA giữa các thư mục node (kỹ thuật cộng đồng); giá trị Expected votes sau khi pvecm expected hết hiệu lực và thuật toán QDevice (ffsplit/lms) mà PVE chọn cho 4 node; thủ tục pmxcfs -l để sửa corosync.conf khi không có quorum; cú pháp prune-job run và hành vi GC khi datastore đã đầy 100%; mon_allow_pool_delete khi pveceph pool destroy; module watchdog phần cứng phù hợp với máy chủ thật; engine rbd của fio trên máy thật (gói Debian 13 phụ thuộc librbd1 nhưng chưa chạy fio --enghelp); VLAN cô lập 55 cho restore thử với FortiGate; giá trị mặc định của mon_max_pg_per_osd trên Tentacle; kế hoạch IP DR tại site phụ. Ngày đối chiếu tài liệu: 2026-10-15.

Tài liệu: HOATRANLABS Infrastructure — Runbook sự cố Proxmox VE (node, OSD, quorum, HA, Ceph PG, hiệu năng, khôi phục)
Cập nhật: 2026-10-15

Zalo