System & Network Notify · SMART · UPS
Bài 10 · Giai đoạn 1 — Vận hành & Bảo mật Proxmox

Thông báo & Giám sát SMTP · Ceph · SMART · UPS

Notification targets/matchers qua SMTP, cảnh báo Ceph và SMART, NUT UPS tắt máy an toàn.

Giai đoạn: Vận hành & Bảo mật Proxmox

Bối cảnh & Lý do triển khai

Vị trí trong chuỗi bài: Bài 10 thuộc Giai đoạn 1 — Vận hành & Bảo mật Proxmox, nối tiếp Bài 09. ACME + step-CA và đứng trước Bài 11. Runbook sự cố.
Mức độ cần thiết: 🔴 Bắt buộc — Cụm Proxmox không có kênh cảnh báo thì HA, backup và Ceph chỉ "hỏng trong im lặng"

Proxmox VE tự phát hiện rất nhiều sự cố: backup lỗi, replication lỗi, node bị fence, ổ đĩa báo SMART, Ceph chuyển HEALTH_WARN, điện lưới mất. Nhưng nếu không ai nhận được tin thì sự cố chỉ bị phát hiện khi người dùng báo, lúc đó thường đã muộn: Ceph đầy 95% thì chặn ghi, ổ thứ hai hỏng khi ổ đầu chưa kịp thay, UPS cạn pin khi chưa ai tắt máy. Bài này dựng một "đường ống cảnh báo" hoàn chỉnh cho cụm HOATRANHUB: hệ thống thông báo tích hợp của PVE 9 (target SMTP, Gotify, Webhook và matcher), cảnh báo sức khoẻ Ceph, giám sát SMART của ổ đĩa, và UPS với NUT để tắt cả cụm có thứ tự khi mất điện.

Phạm vi và giới hạn cần biết trước: (1) Lab dùng node là máy ảo (ổ QEMU HARDDISK, bài 02/03) và chưa có UPS vật lý đi kèm tài liệu, nên SMART thật và pin UPS thật cần kiểm lại trên máy thật; bài cung cấp cách mô phỏng (dummy-ups, smartd -M test, DRY_RUN) để kiểm tra đường đi của cảnh báo mà không cắt điện hay làm hỏng đĩa. (2) Các script tắt cluster ở mục 7 chỉ được viết theo tài liệu; thử trong cửa sổ bảo trì hoặc trên cluster staging trước khi tin cậy. (3) Phần lõi (mục 1–6) chạy độc lập chỉ với bài 01–04; Mailu (bài 16), Gotify và Prometheus (bài 15), Mattermost (bài 37) là phần tích hợp, làm sau khi các bài đó xong.
MụcNội dung
Ứng dụng trong DNNhận cảnh báo backup/replication/fencing/cập nhật gói qua email và đẩy tin tức thời (Gotify, Mattermost); theo dõi sức khoẻ Ceph và ổ đĩa; tắt cụm có thứ tự khi mất điện kéo dài; chuẩn hoá cấu hình cho 1 node đến hàng trăm node bằng Ansible/API
Tác dụng chínhTarget SMTP/Gotify/Webhook + matcher theo severity/loại sự kiện/hostname; cảnh báo Ceph (ngưỡng nearfull/backfillfull/full, ceph health detail, module alerts); smartd tuỳ chỉnh (SATA/SAS/NVMe, self-test định kỳ); NUT upsmon primary trên node1 và secondary trên node2–4; exporter + rule cho Prometheus/Alertmanager
Nếu không triển khaiBackup lỗi nhiều đêm mà không ai biết; Ceph đầy làm VM treo I/O; ổ hỏng âm thầm; mất điện đột ngột gây hỏng dữ liệu VM/Ceph và mất quorum không có quy trình tắt/bật lại
Các service phụ thuộc vào đâyBài 06 (thông báo trước/sau cập nhật cuốn chiếu), bài 11 (runbook sự cố dựa vào các cảnh báo này), bài 15 (Prometheus/Alertmanager đọc pve-exporter, nut_exporter, Ceph mgr), bài 16 (Mailu nhận thư), bài 37 (Mattermost kênh #alerts)

Phiên bản: 1.0 | Ngày cập nhật: 2026-10-15
Cluster: HOATRANHUB (PVE 9.2.20, Ceph Tentacle 20.2.4) | Tác giả: HoatranLabs

Danh sách máy chủ & IP liên quan

Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.

Máy chủIPVLAN · NodeVai trò trong bài này
ups01 (UPS có SNMP/NMC + NUT)10.11.45.1945 (MGMT) · thiết bịMáy chủ của bài — UPS có thẻ mạng NMC (SNMP); node1 đọc bằng snmp-ups để cảnh báo mất điện, cắt tải và tắt cụm có thứ tự khi pin yếu.
node1 (Proxmox VE)10.11.45.21045 (MGMT) · cluster HOATRANHUBNUT primary: upsd nghe 10.11.45.210:3493, chạy pve-ups điều phối tắt cụm; cấu hình thông báo cluster; Ceph mgr active (alerts, prometheus :9283).
node2 (Proxmox VE)10.11.45.21145 (MGMT) · cluster HOATRANHUBNode PVE: upsmon secondary (tắt trễ dự phòng), smartd chuẩn hoá, smartctl_exporter :9633; mgr Ceph standby (:9283).
node3 (Proxmox VE)10.11.45.21245 (MGMT) · cluster HOATRANHUBNode PVE: upsmon secondary, smartd chuẩn hoá, smartctl_exporter :9633; gửi thông báo SMTP qua Mailu bằng target mailu-pve.
node4 (Proxmox VE)10.11.45.21345 (MGMT) · cluster HOATRANHUBNode PVE chứa pbs01 và pdm01: upsmon secondary, smartd, smartctl_exporter; các VM này được dừng trước khi tắt node.
mailu (Mailu Mail Server) · VM24610.11.35.4635 (DMZ) · node2Relay SMTP 587 STARTTLS cho target mailu-pve: hộp thư [email protected] (bài 16 mục 6 và 8.5); node tin cậy root CA step-CA.
prometheus (Prometheus + Alertmanager) · VM23510.11.45.3545 (MGMT) · node2Scrape pve-exporter, nut_exporter, Ceph mgr :9283, smartctl_exporter :9633; rule ceph.yml, smart.yml, ups.yml; Alertmanager gửi email/Mattermost (bài 15).
grafana (Grafana + Uptime Kuma + Gotify) · VM23610.11.45.3645 (MGMT) · node2Gotify :3002 nhận push từ target gotify-ops (app token proxmox) và từ cầu nối Alertmanager (bài 15).
mattermost (Mattermost) · VM27210.11.65.5765 (SRV) · node1Incoming webhook kênh #alerts nhận thông báo từ target mattermost-alerts của PVE và route Alertmanager (bài 37).
ops01 (Ansible/OpenTofu + bastion) · VM29010.11.45.2045 (MGMT) · node2Máy điều khiển: chạy Ansible/playbook thông báo, smartd, NUT và gọi API PVE bằng token svc-automation@pve!ansible (bài 07, 08).
step-ca (step-CA PKI) · VM24210.11.25.4225 (SEC) · node1Cấp chứng chỉ cho Mailu và Mattermost; root CA phải được tin cậy trên mọi node để SMTP/Webhook xác thực TLS (bài 13).
pbs01 (PBS Primary) · VM10110.11.45.1745 (MGMT) · node4VM101 trên node4, có hệ thống thông báo riêng tới Mailu (bài 16 mục 8.4); được dừng trước khi tắt cụm khi mất điện.
FortiGate (firewall)10.100.100.1Quản trị 10.100.100.0/24 · thiết bị mạngCho node VLAN 45 đi tới Mailu cổng 587 ở VLAN 35 (bài 16 mục 9.1); lưu lượng NUT và exporter cùng VLAN 45 không qua firewall này.
syno-primary (Synology NAS)10.11.45.1645 (MGMT) · NASNAS chứa datastore PBS: phải tắt sau pbs01; cấu hình UPS riêng của DSM, có thể làm client NUT (cần kiểm lại trên máy thật).

Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Máy site phụ (node5, node6, pbsdr01) có UPS và NUT riêng nên không liệt kê; hộp thư nhận thư là địa chỉ email, không phải máy chủ.

Tổng quan

Phiên bản phần mềm sử dụng · Quy mô triển khai · Công cụ & chi phí

Có hai luồng cảnh báo và bài này dựng cả hai, vì chúng bổ sung cho nhau:

NGUỒN SỰ KIỆN                    HỆ THỐNG THÔNG BÁO PVE                     KÊNH NHẬN
 ─────────────                    ───────────────────────                    ─────────
 vzdump (backup)  ─┐                                                    ┌─ target SMTP    mailu-pve ──▶ Mailu :587 (bài 16) / relay ngoài
 replication      ─┤  type = vzdump / replication / fencing /           ├─ target Gotify  gotify-ops ─▶ điện thoại (bài 15)
 HA fencing       ─┼─▶ package-updates / system-mail  ──▶ MATCHERS ───▶ └─ target Webhook mattermost-alerts ▶ #alerts (bài 37)
 apt (gói mới)    ─┘                                   (severity,
 smartd, cron, `ceph alerts`, NUT  ─ mail root ─▶ proxmox-mail-forward   field, mode)
                                                  ─▶ type = system-mail ┘

 LUỒNG QUAN SÁT (làm sau bài 15):
 pve-exporter · Ceph mgr :9283 · smartctl_exporter · nut_exporter ─▶ Prometheus ─▶ Alertmanager ─▶ Mailu · Mattermost · Gotify
  • Luồng 1 — thông báo của PVE (lõi, mục 1–6): PVE tự gửi sự kiện của chính nó; smartd, Ceph (module alerts) và NUT đi vào cùng đường bằng thư gửi root (PVE chuyển thành sự kiện system-mail). Không cần server giám sát nào, chạy được từ 1 node.
  • Luồng 2 — Prometheus/Alertmanager (tích hợp, mục 8): theo dõi xu hướng và ngưỡng sớm (ví dụ OSD dùng quá 60%), tập trung nhiều cluster. Không thay thế luồng 1: nếu VM Prometheus chết cùng sự cố thì luồng 1 vẫn còn.
Thông sốGiá trị
Phiên bản PVE9.2.20 (Debian 13)
ClusterHOATRANHUB (4 node)
Repopve-no-subscription
Kênh thông báoSMTP · Gotify · Webhook
SMTP (Mailu)mailu-pve · 587 STARTTLS
CephTentacle 20.2.4
UPSups01 10.11.45.19 (NUT)
Điều kiện tiên quyếtBài 01–04
Thời gian thực hiện3–4 giờ

Phiên bản phần mềm sử dụng

Đã xác minh ngày 2026-10-15 theo trang gói của Debian, PyPI và trang phát hành của từng dự án. Số bản sẽ tăng theo thời gian; bài ghim các bản này để lệnh khớp nhau.

Thành phầnPhiên bảnGhi chú
Proxmox VE9.2.20 (Debian 13 "trixie")Hệ thống thông báo proxmox-notify đi kèm pve-manager, có target Sendmail, SMTP, Gotify, Webhook. Lệnh trong bài đối chiếu với API Viewer của PVE 9
CephTentacle 20.2.4 (20.2.4-pve4, bài 03)Module mgr alerts, prometheus; lệnh theo docs.ceph.com/en/tentacle
smartmontools7.4-3 (gói Debian 13)smartd, smartctl; trên PVE smartd chạy sẵn (docs PVE, "Disk Health Monitoring")
NUT (Network UPS Tools)2.8.1-5 (gói nut-server, nut-client, nut-snmp của Debian 13)Dùng từ khoá primary/secondary (tương đương master/slave cũ). Trang man trên networkupstools.org là bản mới hơn 2.8.1, vài chi tiết có thể khác (đã ghi chú tại chỗ)
prometheus-pve-exporter3.10.1 (PyPI, yêu cầu Python 3.11 trở lên)Chạy dạng container ở bài 15 Bước 11 (prompve/prometheus-pve-exporter:3.10.1)
nut_exporter (DRuggeri)3.3.0Container ở bài 15 Bước 11 (druggeri/nut_exporter:3.3.0), cổng 9199
smartctl_exporter0.15.0 (prometheus-community)Cài bằng binary + systemd trên từng node, cổng 9633 (mục 8.3)
node_exporter1.12.1Giá trị dùng chung của bộ bài (cổng 9100)
Mailu2024.06 (bài 16)Hộp thư gửi cảnh báo Proxmox: [email protected]
Ubuntu Server (VM ops01, VM235, VM236)24.04.5 LTSChỉ dùng cho máy điều khiển Ansible và máy chạy Prometheus; node PVE là Debian 13
Gói bổ trợ trên nodejq, bsd-mailx, sudo (apt, Debian 13)mail để gửi thư tới root, jq để xử lý JSON của pvesh, sudo cho upssched (mục 7.6)

Quy mô triển khai

Cấu hình thông báo nằm trong /etc/pve nên chia sẻ trong phạm vi một cluster; mỗi cluster độc lập có bộ target/matcher riêng. Giới hạn số node: tài liệu pvecm ghi không có giới hạn cứng, nêu có báo cáo cluster trên 50 node (năm 2021, phần cứng cao cấp); con số "~30 node mỗi cluster" dưới đây là khuyến nghị của bộ bài, không phải giới hạn của Proxmox.

Quy môThông báoCephSMARTUPS (NUT)
1 node1 target SMTP (relay ngoài hoặc Mailu), default-matcherKhông có Cephsmartd chuẩn hoá (mục 6)MODE=standalone, UPS nối USB (usbhid-ups) hoặc SNMP; node tự tắt khi UPS báo pin yếu
2–3 node (+ QDevice)Như trên, thêm Gotify cho pushCó thể có Ceph 3 node (mục 5)Như trên, mỗi node một cấu hìnhMột node netserver; QDevice (Raspberry Pi/mini PC ngoài cluster) là chỗ tốt đặt upsd để không phụ thuộc node nào
4–~30 node (HOATRANHUB là ví dụ)Target + matcher + webhook, Prometheus tập trungAlerts + PrometheusAnsible đẩy smartd.conf theo lớp phần cứngMột upsd mỗi UPS; secondary trên các node cùng UPS; tắt có thứ tự bằng script (mục 7)
>~30 nodeChia nhiều cluster, mỗi cluster cùng một bộ cấu hình sinh bằng Ansible/API (mục 9); dùng author và comment để phân biệt cluster trong thư; quản lý tập trung bằng Proxmox Datacenter Manager (bài 04)Alertmanager tập trung nhiều clusterAnsible templateMỗi rack/UPS một upsd riêng, không dùng một NUT server cho cả trung tâm dữ liệu

Công cụ & chi phí

Toàn bộ miễn phí: thông báo PVE, NUT, smartmontools, Postfix có sẵn trên PVE; Gotify/Mattermost/Mailu chạy trong lab; relay ngoài có gói miễn phí (mục 2.2). Không cần subscription cho bất kỳ tính năng nào trong bài; popup "No valid subscription" chỉ là thông báo. Chi phí thật duy nhất là phần cứng: UPS (nên có thẻ mạng NMC/SNMP để đọc từ xa) và ổ đĩa thay thế. Chỉ cân nhắc trả phí khi cần SLA hỗ trợ chính thức cho UPS hoặc dịch vụ email giao nhận (transactional email) vượt gói miễn phí.

Điều kiện tiên quyết và phần tích hợp làm sau

PhầnCần có trướcNếu chưa có
Lõi (mục 1–6)Bài 01–04: cluster HOATRANHUB chạy, Ceph HEALTH_OK, quyền root trên nodeKhông có
SMTP qua Mailu (mục 2.1, 3.1)Bài 16 (hộp thư pve-alerts@), root CA step-CA (bài 09/13) trên node, Pi-hole (bài 12) phân giải mailu.hoatranlabs.localDùng relay ngoài (mục 2.2) với cùng tên target mailu-pve, sau đó đổi sang Mailu bằng pvesh set
Gotify (mục 3.4)Bài 15 Bước 4 và 8 (Gotify :3002, app token)Bỏ qua, chỉ dùng email
Webhook Mattermost (mục 3.5)Bài 37 (incoming webhook #alerts)Bỏ qua
Prometheus/Alertmanager (mục 8)Bài 15 (kể cả Bước 11), bài 08 (token svc-monitoring@pve!prometheus), bài 37 cho route MattermostBỏ qua; luồng 1 vẫn đủ dùng
Firewall node (mục 7.2, 8)Bài 05: rule NUT 3493 trong host.fw của node1 và nhóm sg-pve-integr đã soạn sẵn ở dạng tắt, bài này bật chúngChưa bật PVE Firewall thì không phải mở cổng; bật firewall theo bài 05, không tự sửa lẻ
01

Kiến trúc hệ thống thông báo của PVE 9

Mô hình: sự kiện → matcher → target · Các loại sự kiện · Tệp cấu hình và quyền truy cập

1.1 Mô hình: sự kiện → matcher → target

PVE (từ 8.1) dùng một hệ thống thông báo thống nhất. Mỗi sự kiện sinh ra một thông báo mang title, message, severity (info, notice, warning, error, unknown) và các trường metadata (type, hostname, job-id). Matcher quyết định thông báo nào đi tới target nào; một thông báo chỉ gửi tối đa một lần tới mỗi target, kể cả khi nhiều matcher cùng trỏ vào target đó.

Khái niệmVai tròLoại có sẵn
Target (endpoint)Nơi nhận: kênh gửi tớisendmail (dùng Postfix cục bộ), smtp (gửi thẳng tới relay), gotify, webhook
MatcherBộ lọc: match-severity, match-field (exact:/regex:), match-calendar, mode all/any, invert-matchMột matcher không có quy tắc nào thì luôn khớp
Hai điều dễ nhầm: (1) Target không nằm trong matcher nào thì không nhận gì cả; tạo target xong phải gắn vào matcher. (2) Target smtp gửi thẳng, không có hàng đợi và không thử lại khi lỗi (theo docs PVE): nếu Mailu đang bảo trì lúc backup lỗi, thư mất. Vì vậy nên có thêm một kênh thứ hai (Gotify/Mattermost) cho sự kiện error, hoặc dùng target sendmail + Postfix smarthost có hàng đợi (mục 2.3).

1.2 Các loại sự kiện

Theo docs PVE (chương Notifications):

Sự kiệntypeSeverityTrường metadata (ngoài type)
Có bản cập nhật góipackage-updatesinfohostname
Node bị fencefencingerrorhostname
Replication lỗireplicationerrorhostname, job-id
Backup thành côngvzdumpinfohostname, job-id (chỉ job theo lịch)
Backup lỗivzdumperrorhostname, job-id (chỉ job theo lịch)
Thư gửi root (smartd, cron, Ceph alerts, NUT...)system-mailunknownhostname

hostname là tên không có domain (ví dụ node1). job-id chỉ có với job chạy theo lịch, không có khi bấm "Run now". Mail system-mail có severity unknown nên match-severity không bắt được; lọc chúng bằng match-field exact:type=system-mail.

Xem danh sách trường và giá trị mà matcher dùng được ngay trên cluster:

pvesh get /cluster/notifications/matcher-fields
pvesh get /cluster/notifications/matcher-field-values

1.3 Tệp cấu hình và quyền truy cập

TệpNội dungGhi chú
/etc/pve/notifications.cfgTarget và matcher (không có bí mật)Nằm trong pmxcfs: đồng bộ cả cluster, sửa trên một node là đủ
/etc/pve/priv/notifications.cfgMật khẩu SMTP, token Gotify, secret webhookChỉ root đọc được; không đưa vào Git/Ansible dạng rõ (dùng Ansible Vault)
/usr/share/pve-manager/templates/default/Mẫu nội dung thư mặc địnhGhi đè bằng /etc/pve/notification-templates/default/ với tên <type>-body.html.hbs, <type>-subject.txt.hbs...

Quyền: xem/sửa target cần Mapping.Audit/Mapping.Modify trên /mapping/notifications; bấm Test cần Mapping.Use, Mapping.Audit hoặc Mapping.Modify trên cùng đường dẫn. Tài khoản tự động hoá svc-automation@pve!ansible (bài 08) cần quyền Mapping.Modify tại đó.

1.4 Mặc định sau cài đặt và cơ chế system-mail

Cài mới, PVE có sẵn một target sendmail tên mail-to-root (gửi tới địa chỉ email của root@pam) và matcher default-matcher đưa mọi thông báo tới target đó. Tên các đối tượng mặc định theo diễn đàn Proxmox và API (trường origin = builtin), cần kiểm lại trên máy thật:

pvesh get /cluster/notifications/targets
pvesh get /cluster/notifications/matchers
cat /etc/pve/notifications.cfg
Datacenter → Notifications trên cluster mới cài: khung Notification Targets có sẵn mail-to-root (sendmail, builtin) và khung Notification Matchers có default-matcher; terminal node1 chạy pvesh get /cluster/notifications/targets cho cùng danh sách.
Datacenter → Notifications trên cluster mới cài: khung Notification Targets có sẵn mail-to-root (sendmail, builtin) và khung Notification Matchers có default-matcher; terminal node1 chạy pvesh get /cluster/notifications/targets cho cùng danh sách.

Cơ chế chuyển thư: thư gửi cho root đi vào Postfix cục bộ; PVE cài proxmox-mail-forward (phụ thuộc bắt buộc của pve-manager) để chuyển thư đó thành sự kiện system-mail. Theo diễn đàn Proxmox, việc chuyển được thiết lập bằng /root/.forward chứa dòng |/usr/bin/proxmox-mail-forward; /etc/aliases mà đổi root: sang nơi khác sẽ làm hỏng chuỗi này. Với target sendmail, nội dung và header thư gốc được giữ nguyên; với các target khác PVE tách chủ đề và nội dung văn bản.

cat /root/.forward                 # mong đợi: |/usr/bin/proxmox-mail-forward
command -v mail || apt install -y bsd-mailx jq
echo "thử system-mail từ $(hostname -s)" | mail -s "[TEST] system-mail" root
journalctl -t proxmox-mail-forward -n 5 --no-pager
02

Chuẩn bị đường gửi thư (SMTP)

Phương án A: Mailu (bài 16) · Phương án B: relay ngoài miễn phí · Phương án C: Postfix smarthost + target sendmail (có hàng đợi)

Chọn một trong ba phương án. Cả ba cùng tạo target tên mailu-pve để các matcher ở mục 3 không phải đổi khi chuyển phương án.

Phương ánKhi nào dùngƯu / nhược
A. Mailu (bài 16)Đã có VM246 Mailu; chuẩn của labTự quản, không giới hạn; phụ thuộc Mailu sống
B. Relay ngoài miễn phíChưa có Mailu, hoặc cần kênh độc lập với hạ tầngKhông cần dựng gì; có giới hạn lượng thư, dữ liệu qua bên thứ ba
C. Postfix smarthost + sendmailCần hàng đợi/thử lại khi relay lỗiBền hơn; thêm một thành phần cấu hình trên mỗi node

2.1 Phương án A: Mailu (bài 16)

Bài 16 (mục 6) tạo hộp thư dành riêng cho Proxmox và mục 8.5 là nguồn chuẩn cho các giá trị dưới đây:

Thông sốGiá trị
Servermailu.hoatranlabs.local (10.11.35.46)
Mã hoá / cổngstarttls / 587
Tài khoản[email protected], mật khẩu mẫu của lab PveAlerts@Mailu2024!
From[email protected] (phải trùng tài khoản xác thực)
Người nhận[email protected]
Chứng chỉDo step-CA cấp; node phải tin cậy root CA (mục 2.4)
Mật khẩu PveAlerts@Mailu2024! là mật khẩu mẫu của lab. Triển khai thật phải đặt mật khẩu mạnh riêng, và khi nhập bằng dòng lệnh dùng read -s như mục 3.1 để không lưu vào lịch sử shell.

Đường mạng: bài 16 mục 9.1 đã cho VLAN 45 (gồm node1–node4) đi tới Mailu cổng 587 trên FortiGate. Kiểm tra từ node1:

getent hosts mailu.hoatranlabs.local            # phải ra 10.11.35.46 (Pi-hole bài 12)
timeout 5 bash -c '</dev/tcp/10.11.35.46/587' && echo "587 mở" || echo "587 đóng"
openssl s_client -starttls smtp -connect mailu.hoatranlabs.local:587 \
  -CAfile /usr/local/share/ca-certificates/hoatranlabs-root.crt </dev/null 2>/dev/null | grep -E "Verify return code|subject="
# mong đợi (mẫu): Verify return code: 0 (ok)

2.2 Phương án B: relay ngoài miễn phí

Dịch vụMáy chủ / cổngXác thựcGiới hạn miễn phí (kiểm lại khi triển khai)
Brevo (SMTP relay)smtp-relay.brevo.com cổng 587 STARTTLSTên đăng nhập = email tài khoản Brevo, mật khẩu = SMTP key tạo ở SMTP & API (không phải mật khẩu tài khoản)300 thư/ngày theo trang free-smtp-server của Brevo; nên cấu hình SPF/DKIM cho domain gửi
Gmailsmtp.gmail.com cổng 587 STARTTLSĐịa chỉ Gmail + App Password (cần bật xác minh 2 bước)Khoảng 500 thư/ngày với tài khoản cá nhân, nguồn không thống nhất đếm theo thư hay theo người nhận; đổi mật khẩu tài khoản sẽ vô hiệu App Password

Đặt thông tin thật vào biến lúc chạy lệnh, không ghi vào tài liệu hay Git:

# Ví dụ Brevo (thay <...> bằng giá trị của bạn)
SMTP_SERVER=smtp-relay.brevo.com; SMTP_USER='<email-dang-nhap-brevo>'; SMTP_FROM='<dia-chi-gui-da-xac-minh>'
read -rsp 'SMTP key (không hiện): ' SMTP_PASS; echo
Dùng tài khoản dịch vụ riêng, chỉ để gửi cảnh báo, và đặt người nhận là hộp thư nhóm (pve-alerts-team@...) chứ không phải một người.

2.3 Phương án C: Postfix smarthost + target sendmail (có hàng đợi)

Postfix có sẵn trên PVE (pve-manager phụ thuộc postfix | mail-transport-agent). Cho Postfix gửi qua Mailu bằng SASL; hàng đợi postqueue -p sẽ giữ và thử lại thư khi Mailu tạm ngừng. Làm trên mỗi node (bằng Ansible ở mục 9):

apt install -y libsasl2-modules
cp -a /etc/postfix/main.cf /etc/postfix/main.cf.bak-$(date +%F)
read -rsp 'Mật khẩu pve-alerts: ' SMTP_PASS; echo
install -m 600 /dev/null /etc/postfix/sasl_passwd
printf '[mailu.hoatranlabs.local]:587 [email protected]:%s\n' "$SMTP_PASS" > /etc/postfix/sasl_passwd
postmap /etc/postfix/sasl_passwd
postconf -e 'relayhost = [mailu.hoatranlabs.local]:587' \
            'smtp_sasl_auth_enable = yes' \
            'smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd' \
            'smtp_sasl_security_options = noanonymous' \
            'smtp_tls_security_level = encrypt' \
            'smtp_tls_CAfile = /usr/local/share/ca-certificates/hoatranlabs-root.crt'
systemctl reload postfix

Sau đó tạo target sendmail thay vì smtp (mục 3.1 có lệnh). Lưu ý: Mailu yêu cầu From thuộc hộp thư xác thực nên đặt from-address [email protected] cho target (cần kiểm lại trên máy thật).

2.4 Tin cậy root CA và firewall

Node kiểm tra chứng chỉ TLS của Mailu (cấp bởi step-CA). Target SMTP của PVE không có tuỳ chọn bỏ qua kiểm tra chứng chỉ (xem tham số trong API), nên root CA phải nằm trong kho tin cậy của node. Bài 09 đã phát root CA cho node; nếu chưa:

# trên từng node (hoặc bằng Ansible, mục 9); file root_ca.crt lấy ở bài 13
install -m 644 root_ca.crt /usr/local/share/ca-certificates/hoatranlabs-root.crt
update-ca-certificates

Thư viện TLS mà dịch vụ thông báo của PVE dùng để đọc kho CA hệ thống chưa được xác minh từ tài liệu; nếu Test báo lỗi chứng chỉ dù openssl s_client ở mục 2.1 trả Verify return code: 0, xem Troubleshooting. Nếu đã bật PVE Firewall (bài 05), chỉ cần cho phép đi ra tới Mailu 587 (mặc định chính sách OUT của PVE là ACCEPT).

03

Tạo target và matcher

Target SMTP mailu-pve · Đưa default-matcher về target mới · Thiết kế matcher cho cụm

3.1 Target SMTP mailu-pve

Giao diện (PVE 9): Datacenter → Notifications → khung Notification Targets → Add ▾ → SMTP.

TrườngGiá trị
Endpoint Namemailu-pve
Servermailu.hoatranlabs.local
EncryptionSTARTTLS
Port587
Authenticate☑ — Username [email protected], Password (mẫu lab PveAlerts@Mailu2024!)
From Address[email protected]
Additional Recipient(s)[email protected]
CommentMailu (bài 16) - cảnh báo cụm HOATRANHUB
Datacenter → Notifications → Add → SMTP: hộp thoại điền Endpoint Name mailu-pve, Server mailu.hoatranlabs.local, Encryption STARTTLS, Port 587, Username và From Address pve-alerts@hoatranlabs.local.
Datacenter → Notifications → Add → SMTP: hộp thoại điền Endpoint Name mailu-pve, Server mailu.hoatranlabs.local, Encryption STARTTLS, Port 587, Username và From Address [email protected].

Nhấn Add, chọn dòng mailu-pve rồi bấm Test: hộp thư phải nhận thư thử.

Dòng lệnh (chạy trên một node bất kỳ; tham số mảng như --mailto lặp lại nếu nhiều người nhận):

read -rsp 'Mật khẩu hộp thư pve-alerts (mẫu lab: bài 16 mục 6): ' SMTP_PASS; echo

pvesh create /cluster/notifications/endpoints/smtp \
  --name mailu-pve \
  --server mailu.hoatranlabs.local --port 587 --mode starttls \
  --username [email protected] --password "$SMTP_PASS" \
  --from-address [email protected] \
  --author 'PVE HOATRANHUB' \
  --mailto [email protected] \
  --comment 'Mailu (bài 16) - cảnh báo cụm HOATRANHUB'

pvesh get /cluster/notifications/targets
pvesh create /cluster/notifications/targets/mailu-pve/test

--author là tên hiển thị người gửi (mặc định Proxmox VE): đặt tên cluster vào đó để khi quản lý nhiều cluster nhìn tên người gửi biết ngay thư của cluster nào.

Nếu dùng phương án B, đổi --server, --username, --password, --from-address theo nhà cung cấp (tên target vẫn là mailu-pve). Nếu dùng phương án C (Postfix smarthost):

pvesh create /cluster/notifications/endpoints/sendmail \
  --name mailu-pve --from-address [email protected] --author 'PVE HOATRANHUB' \
  --mailto [email protected]

Kết quả trong cấu hình (mẫu), mật khẩu tách riêng sang tệp chỉ root đọc được:

# /etc/pve/notifications.cfg
smtp: mailu-pve
        author PVE HOATRANHUB
        comment Mailu (bài 16) - cảnh báo cụm HOATRANHUB
        from-address [email protected]
        mailto [email protected]
        mode starttls
        port 587
        server mailu.hoatranlabs.local
        username [email protected]

# /etc/pve/priv/notifications.cfg
smtp: mailu-pve
        password <SMTP_PASS>
Terminal node1: pvesh get /cluster/notifications/targets liệt kê mailu-pve (smtp) cạnh mail-to-root, và cat /etc/pve/notifications.cfg hiện khối smtp: mailu-pve; mật khẩu chỉ nằm ở /etc/pve/priv/notifications.cfg.
Terminal node1: pvesh get /cluster/notifications/targets liệt kê mailu-pve (smtp) cạnh mail-to-root, và cat /etc/pve/notifications.cfg hiện khối smtp: mailu-pve; mật khẩu chỉ nằm ở /etc/pve/priv/notifications.cfg.

3.2 Đưa default-matcher về target mới

Matcher mặc định đang gửi mọi thứ vào mail-to-root (phụ thuộc email của root@pam và Postfix cục bộ). Cách gọn nhất: sửa default-matcher để gửi tới mailu-pve, tức là mọi sự kiện đều có một bản email; các kênh push chỉ cần thêm matcher riêng (mục 3.3). Vì mỗi target chỉ nhận một lần cho mỗi sự kiện nên không bị trùng thư.

pvesh set /cluster/notifications/matchers/default-matcher \
  --target mailu-pve --comment 'Mọi thông báo -> email (mailu-pve)'
pvesh get /cluster/notifications/matchers/default-matcher

Tuỳ chọn: tắt target mặc định nếu node không có Postfix gửi ra ngoài được (tránh thư lỗi quay về): pvesh set /cluster/notifications/endpoints/sendmail/mail-to-root --disable 1. Giữ lại mail-to-root cũng không sao nếu default-matcher không còn trỏ vào nó.

3.3 Thiết kế matcher cho cụm

Nguyên tắc: email cho mọi thứ (default-matcher), push cho thứ cần hành động ngay, và tách theo hostname khi nhiều môi trường dùng chung cluster.

MatcherQuy tắcTargetMục đích
default-matcher(không quy tắc)mailu-pveBản email của mọi sự kiện, làm nhật ký
m-push-errormatch-severity errorgotify-ops, mattermost-alertsBackup/replication lỗi, node bị fence: cần người xử lý
m-push-system-mailmatch-field exact:type=system-mailmattermost-alertssmartd, Ceph alerts, NUT (severity unknown)
m-prod-nodesmatch-field regex:hostname=^node[1-4]$ kèm match-severity errorgotify-opsVí dụ lọc theo hostname (mode all)
m-cluster-eventsmatch-field exact:type=fencing và match-field exact:type=replication, mode anygotify-opsVí dụ mode any: khớp khi một trong các quy tắc đúng

mode all (mặc định) đòi mọi quy tắc cùng đúng; mode any chỉ cần một. Trong một quy tắc match-field, dấu phẩy là "hoặc": exact:type=replication,fencing khớp cả hai loại. invert-match đảo kết quả của cả matcher (dùng cho ví dụ ngoài giờ trong docs PVE: matcher giờ làm việc match-calendar mon..fri 9-17 và matcher đảo invert-match true), nên không kết hợp được "lỗi và ngoài giờ" trong một matcher duy nhất.

Tạo các matcher (target Gotify và Webhook ở mục 3.4–3.5; nếu chưa có thì tạo matcher sau khi có target, vì --target phải tồn tại):

pvesh create /cluster/notifications/matchers --name m-push-error \
  --match-severity error \
  --target gotify-ops --target mattermost-alerts \
  --comment 'Sự kiện lỗi -> push tức thời'

pvesh create /cluster/notifications/matchers --name m-push-system-mail \
  --match-field exact:type=system-mail \
  --target mattermost-alerts \
  --comment 'smartd / Ceph alerts / NUT (severity unknown)'

pvesh create /cluster/notifications/matchers --name m-cluster-events \
  --mode any \
  --match-field exact:type=fencing --match-field exact:type=replication \
  --target gotify-ops --comment 'Ví dụ mode any'

pvesh get /cluster/notifications/matchers --output-format yaml

Giao diện: Datacenter → Notifications → khung Notification Matchers → Add: tab Matching Rules (Match Severity, Match Field, Match Calendar, Mode, Invert match) và tab Targets to Notify.

Datacenter → Notifications → Notification Matchers → Add: tab Matching Rules chọn Match Severity = error, tab Targets to Notify chọn gotify-ops và mattermost-alerts cho matcher m-push-error.
Datacenter → Notifications → Notification Matchers → Add: tab Matching Rules chọn Match Severity = error, tab Targets to Notify chọn gotify-ops và mattermost-alerts cho matcher m-push-error.

3.4 Gotify (tích hợp — làm sau bài 15)

Trong Gotify (http://10.11.45.36:3002, bài 15 Bước 8): Apps → Create Application, tên proxmox, sao chép token. Rồi tạo target:

read -rsp 'Gotify app token (proxmox): ' GOTIFY_TOKEN; echo
pvesh create /cluster/notifications/endpoints/gotify \
  --name gotify-ops --server http://10.11.45.36:3002 --token "$GOTIFY_TOKEN" \
  --comment 'Gotify (bài 15) - push điện thoại'
pvesh create /cluster/notifications/targets/gotify-ops/test
Gotify ở bài 15 chạy HTTP (cổng 3002), nên token đi dạng rõ trong VLAN 45. Chấp nhận được trong mạng quản trị đã tách VLAN; muốn mã hoá thì đặt reverse proxy HTTPS phía trước Gotify rồi đổi --server https://....

3.5 Webhook → Mattermost (tích hợp — làm sau bài 37)

Incoming webhook của Mattermost nhận JSON kiểu Slack. URL webhook chứa mã bí mật nên đặt vào secret, và nội dung dùng mẫu Handlebars của PVE (title, message, severity, fields.*; hàm escape để chuỗi an toàn trong JSON). header, secret và body truyền qua API phải mã hoá base64; giao diện tự mã hoá giúp.

MM_HOOK_ID='<id-alerts>'     # đuôi URL https://mattermost.hoatranlabs.local/hooks/<id-alerts> (bài 37, mục 3.3)
BODY='{"username":"Proxmox VE","text":"**[{{ severity }}]** {{ escape title }}\n{{ escape message }}"}'

pvesh create /cluster/notifications/endpoints/webhook \
  --name mattermost-alerts --method post \
  --url 'https://mattermost.hoatranlabs.local/hooks/{{ secrets.hook }}' \
  --header "name=Content-Type,value=$(printf 'application/json' | base64 -w0)" \
  --secret "name=hook,value=$(printf '%s' "$MM_HOOK_ID" | base64 -w0)" \
  --body "$(printf '%s' "$BODY" | base64 -w0)" \
  --comment 'Mattermost #alerts (bài 37)'
pvesh create /cluster/notifications/targets/mattermost-alerts/test

Mattermost dùng chứng chỉ step-CA nên node cần tin cậy root CA (mục 2.4). Cùng cách này gắn được ntfy.sh hay Discord (docs PVE có sẵn ví dụ). Một kênh nằm ngoài hạ tầng lab (ntfy.sh, Telegram bot qua webhook) đáng cân nhắc cho UPS, vì khi mất điện kéo dài chính Mailu, Gotify và Mattermost cũng bị tắt.

3.6 Kiểm tra toàn chuỗi

pvesh get /cluster/notifications/targets            # tất cả target, cột origin
pvesh create /cluster/notifications/targets/mailu-pve/test
pvesh create /cluster/notifications/targets/gotify-ops/test
pvesh create /cluster/notifications/targets/mattermost-alerts/test
echo "thử system-mail" | mail -s "[TEST] route system-mail" root        # đi qua m-push-system-mail

Mong đợi: 1 email ở admin@, 1 tin trong Gotify, 1 tin trong #alerts cho mỗi lần test; thư system-mail cho một bản email (default-matcher) và một tin Mattermost.

Kết quả sau khi bấm Test: thư thử từ 'PVE HOATRANHUB' trong hộp thư admin@hoatranlabs.local (Roundcube), tin trong Gotify (app proxmox) và tin của bot Proxmox VE trong kênh #alerts của Mattermost.
Kết quả sau khi bấm Test: thư thử từ 'PVE HOATRANHUB' trong hộp thư [email protected] (Roundcube), tin trong Gotify (app proxmox) và tin của bot Proxmox VE trong kênh #alerts của Mattermost.
04

Gắn thông báo vào backup, replication, fencing và cập nhật gói

Backup job (vzdump) · Replication và fencing · Thông báo cập nhật gói (package-updates)

4.1 Backup job (vzdump)

Từ PVE 8.1 mỗi backup job có notification-mode: auto (mặc định) gửi email theo trường mailto nếu có đặt, còn không thì dùng hệ thống thông báo; notification-system luôn dùng target/matcher toàn cục; legacy-sendmail gửi thẳng qua sendmail (docs PVE ghi chế độ này có thể bị gỡ ở bản sau). Chuẩn hoá về notification-system để mọi thứ đi qua matcher ở mục 3.

Giao diện: Datacenter → Backup → chọn job → Edit → mục Notification → Notification mode = Use global notification settings (bỏ trống trường email cũ).

Datacenter → Backup → Edit job → mục Notification: Notification mode = Use global notification settings, để thông báo backup đi qua matcher thay vì trường email cũ.
Datacenter → Backup → Edit job → mục Notification: Notification mode = Use global notification settings, để thông báo backup đi qua matcher thay vì trường email cũ.
# xem trạng thái hiện tại của mọi job
pvesh get /cluster/backup --output-format json \
  | jq -r '.[] | [.id, (.["notification-mode"] // "auto"), (.mailto // "-")] | @tsv'

# chuyển tất cả job sang hệ thống thông báo toàn cục
for id in $(pvesh get /cluster/backup --output-format json | jq -r '.[].id'); do
  pvesh set "/cluster/backup/$id" --notification-mode notification-system
done

Chạy thử bằng Run now một job nhỏ: sẽ có thông báo type=vzdump mức info (email theo default-matcher). Lưu ý job chạy tay không có job-id. Muốn thử đường error, tạo một VM thử (VMID 9999, không dùng trong sản xuất), khoá nó rồi backup: qm set 9999 --lock backup, chạy job, sau đó qm unlock 9999 (cách gây lỗi này cần kiểm lại trên máy thật).

Backup job của lab đặt giờ trong bài 04 và các bài dịch vụ (03:30, 04:00...). Số thông báo info mỗi đêm bằng số job: nếu nhiều job, bỏ info khỏi email bằng cách đổi default-matcher thành match-severity warning,error + một matcher riêng cho package-updates.

4.2 Replication và fencing

  • Replication (type=replication, mức error): chỉ phát sinh khi có storage replication (ZFS). HOATRANHUB dùng Ceph nên không có; node5/node6 ở site phụ dùng khi nhân bản ZFS. Không cần cấu hình thêm: m-push-error đã bắt.
  • Fencing (type=fencing, mức error): sinh ra khi HA Manager fence một node mất liên lạc (cơ chế watchdog, bài 03). Đây là sự kiện quan trọng nhất của cụm; đã nằm trong m-push-error và m-cluster-events. Không có cách thử an toàn trên cluster đang chạy: chỉ thử trên cluster staging (ví dụ cô lập mạng corosync của một node) và hiểu rằng VM của node đó sẽ bị khôi phục sang node khác.

4.3 Thông báo cập nhật gói (package-updates)

Mỗi node chạy tác vụ apt update hằng ngày và gửi thông báo khi có gói mới. API ghi tuỳ chọn cũ notify.package-updates đã deprecated nhưng vẫn đọc: giá trị auto (mặc định) chỉ gửi cho node có subscription. Cụm không subscription như lab nên đặt always, nếu không sẽ không bao giờ nhận được thông báo này (hành vi đúng của bản PVE đang chạy cần kiểm lại trên máy thật):

pvesh set /cluster/options --notify package-updates=always
# thử ngay (chạy apt update trên node1 rồi gửi thông báo nếu có gói mới)
pvesh create /nodes/node1/apt/update --notify 1

Mỗi node tự gửi một thông báo riêng nên cluster 4 node nhận 4 thư. Với cluster lớn, giảm tiếng ồn bằng matcher riêng cho exact:type=package-updates trỏ tới một địa chỉ hộp thư nhóm, và bỏ loại này khỏi default-matcher (đổi default-matcher thành match-severity notice,warning,error,unknown). Thông báo cập nhật được dùng làm "tín hiệu bắt đầu" cho quy trình cuốn chiếu ở bài 06.

05

Cảnh báo Ceph

Ngưỡng dung lượng: nearfull, backfillfull, full · Các health check cần theo dõi · Module mgr alerts: Ceph gửi thư khi trạng thái health đổi

5.1 Ngưỡng dung lượng: nearfull, backfillfull, full

Ceph chặn dần khi OSD đầy. Ba ngưỡng mặc định áp dụng từng OSD (docs Ceph, mon_osd_*_ratio; sau khi cluster được tạo, giá trị nằm trong OSDMap và phải đổi bằng lệnh ceph osd set-*-ratio):

NgưỡngMặc địnhHậu quảHealth check
nearfull0.85Cảnh báo sớmOSD_NEARFULL (HEALTH_WARN)
backfillfull0.90OSD từ chối nhận dữ liệu backfill (rebalance/recovery kẹt)OSD_BACKFILLFULL
full0.95Chặn ghi của client, VM treo I/OOSD_FULL (HEALTH_ERR)
ceph osd dump | grep -E 'full_ratio|backfillfull_ratio|nearfull_ratio'
ceph df detail             # RAW theo CLASS (ssd/hdd) và từng pool: STORED, %USED, MAX AVAIL, QUOTA BYTES
ceph osd df tree           # % dùng từng OSD theo host và class (cột CLASS, %USE) và độ lệch giữa các OSD (VAR)
# Đổi (hiếm khi cần). Phải giữ nearfull <= backfillfull <= full
ceph osd set-nearfull-ratio 0.85
ceph osd set-backfillfull-ratio 0.90
ceph osd set-full-ratio 0.95
Terminal node1: ceph osd dump lọc ba dòng full_ratio 0.95, backfillfull_ratio 0.9, nearfull_ratio 0.85; ceph df detail hiện RAW theo class ssd/hdd và hai pool vm-ceph, vm-bulk; ceph osd df tree hiện % dùng từng OSD theo class.
Terminal node1: ceph osd dump lọc ba dòng full_ratio 0.95, backfillfull_ratio 0.9, nearfull_ratio 0.85; ceph df detail hiện RAW theo class ssd/hdd và hai pool vm-ceph, vm-bulk; ceph osd df tree hiện % dùng từng OSD theo class.

Quy tắc N−1 (ngưỡng cảnh báo sớm hợp lý hơn nearfull): cụm phải chịu được mất một host mà dữ liệu vẫn tự phục hồi được. Khi mất 1 trong N host (mỗi host một OSD, failure domain là host), dữ liệu của host đó dồn về N−1 host còn lại nên mức dùng mỗi OSD nhân với N/(N−1). Để không vượt nearfull, mức dùng trước sự cố phải nhỏ hơn 0.85 × (N−1)/N:

Số hostGiới hạn mức dùng an toànĐặt cảnh báo sớm ở
30.85 × 2/3 ≈ 57%50%
4 (HOATRANHUB)0.85 × 3/4 ≈ 64%60%
80.85 × 7/8 ≈ 74%70%

Con số này bỏ qua độ lệch giữa các OSD, nên lấy thấp hơn vài phần trăm. Rule Prometheus ở mục 8.4 dùng 60% cho HOATRANHUB. Lab theo kế hoạch dung lượng của bài 07 (mục 8.4; bài 03 dùng đĩa mẫu khác) có hai tầng Ceph, mỗi node một OSD SSD 200 GB (pool vm-ceph) và một OSD HDD 250 GB (pool vm-bulk), cùng size 3: vm-ceph usable ≈ 266 GB, vùng an toàn 60% ≈ 160 GB dữ liệu; vm-bulk usable ≈ 333 GB, vùng an toàn ≈ 200 GB. Mức dùng 60% tương ứng 120 GB mỗi OSD SSD và 150 GB mỗi OSD HDD; quy tắc N−1 ở trên áp dụng riêng cho từng class vì mỗi class có một OSD trên mỗi host.

# ceph df detail  (mẫu, rút gọn cột; số của bạn sẽ khác; chưa đặt quota nên QUOTA BYTES là N/A)
--- RAW STORAGE ---
CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
hdd    931 GiB  926 GiB  5.2 GiB   5.2 GiB       0.56
ssd    745 GiB  690 GiB   55 GiB    55 GiB       7.38
TOTAL  1.6 TiB  1.6 TiB   60 GiB    60 GiB       3.59

--- POOLS ---
POOL       STORED     USED  %USED  MAX AVAIL  QUOTA BYTES
vm-ceph    18 GiB   54 GiB   7.26    218 GiB          N/A     # SSD, rule-ssd, size 3
vm-bulk   1.7 GiB  5.1 GiB   0.55    293 GiB          N/A     # HDD, rule-hdd, size 3

Hai tầng đầy độc lập: nearfull tính theo OSD nên SSD có thể cảnh báo khi HDD còn trống (và ngược lại), vì vậy đừng chỉ nhìn dòng TOTAL mà đọc từng dòng CLASS của ceph df detail và cột CLASS/%USE của ceph osd df tree. Quota pool (bài 07 mục 8.7: ví dụ 170 GB cho vm-ceph, 210 GB cho vm-bulk) là chốt chặn cuối chứ không phải cảnh báo sớm (sau khi đặt, cột QUOTA BYTES hiện giá trị): pool chạm quota thì ghi bị chặn (POOL_FULL). Cảnh báo sớm vẫn là rule 60% theo OSD ở mục 8.4, áp dụng cho cả hai class; muốn tách theo class thì nối với ceph_osd_metadata (nhãn device_class).

5.2 Các health check cần theo dõi

ceph health detail cho biết check nào đang bật và OSD/PG nào liên quan. Bảng dưới là các check đáng đặt cảnh báo (theo docs Ceph, "Health checks"):

CheckÝ nghĩaViệc đầu tiên
OSD_NEARFULL / OSD_BACKFILLFULL / OSD_FULLOSD vượt ngưỡng tương ứngceph osd df tree; xoá/di dời dữ liệu hoặc thêm OSD (bài 11)
POOL_NEAR_FULL / POOL_FULLPool tới ngưỡng cảnh báo / đã chạm quota (không ghi được nữa)ceph df detail (cột QUOTA BYTES), ceph osd pool get-quota <pool>; dọn dữ liệu hoặc nới quota (bài 07 mục 8.7, bài 11 mục 9.1)
OSD_DOWN, OSD_HOST_DOWNOSD hoặc cả host không hoạt độngKiểm tra host, dịch vụ, mạng, /var/log/ceph/ceph-osd.*
OSDMAP_FLAGSCòn cờ như noout, norecoverceph osd dump (dòng flags); sau bảo trì phải ceph osd unset noout
PG_DEGRADEDPG thiếu bản saoThường do OSD down; chờ recovery, theo dõi ceph -s
MON_DOWN, MGR_DOWNThiếu monitor/managerKhởi động lại dịch vụ; MGR down thì alerts/prometheus cũng im
SLOW_OPS, BLUESTORE_SLOW_OP_ALERTThao tác chậm, ổ có thể sắp hỏngceph daemon osd.N dump_historic_ops; kiểm tra SMART ổ đó (mục 6)
DEVICE_HEALTH*Ceph dự đoán ổ sắp hỏngceph device ls (mục 5.4)
RECENT_CRASHDaemon vừa crashceph crash ls-new, ceph crash info <id>, sau đó ceph crash archive-all
MON_CLOCK_SKEWLệch giờ giữa MONSửa NTP/chrony, không tăng mon_clock_drift_allowed
OSD_SCRUB_ERRORS, PG_DAMAGEDScrub phát hiện dữ liệu không nhất quánRunbook bài 11
PG_NOT_DEEP_SCRUBBEDQuá hạn deep-scrubceph pg deep-scrub <pgid>
TOO_MANY_PGSQuá nhiều PG trên mỗi OSDThêm OSD hoặc giảm PG (bài 11)

Tắt tạm một cảnh báo đã biết để không ồn (có thời hạn): ceph health mute OSD_SCRUB_ERRORS 1w, bỏ bằng ceph health unmute <MÃ>. Giám sát liên tục: watch ceph -s hoặc ceph --watch.

5.3 Module mgr alerts: Ceph gửi thư khi trạng thái health đổi

Module alerts gửi email khi HEALTH_* thay đổi, không cần Prometheus. Docs Ceph nhấn mạnh nó không phải giải pháp giám sát chắc chắn: nếu ceph-mgr chết thì không có thư nào. Module chỉ hỗ trợ SMTP trực tiếp (SSL ngầm cổng 465 mặc định, hoặc không mã hoá nếu smtp_ssl false); tài liệu không nói nó hỗ trợ STARTTLS. Vì Mailu bài 16 chỉ mở 587 STARTTLS cho dịch vụ nội bộ, cách đơn giản và đồng nhất là cho module gửi tới Postfix cục bộ trên chính node chạy mgr, thư gửi root sẽ được PVE chuyển thành system-mail và đi qua matcher (mục 3.3), không cần mật khẩu SMTP trong cấu hình Ceph:

grep -E '^root:' /etc/aliases || echo "(không có alias root: -> .forward của root được dùng)"   # kiểm tra mục 1.4

ceph mgr module enable alerts
ceph config set mgr mgr/alerts/smtp_host 127.0.0.1
ceph config set mgr mgr/alerts/smtp_port 25
ceph config set mgr mgr/alerts/smtp_ssl false              # loopback, không có TLS
ceph config set mgr mgr/alerts/smtp_sender [email protected]
ceph config set mgr mgr/alerts/smtp_destination root@localhost
ceph config set mgr mgr/alerts/smtp_from_name 'Ceph HOATRANHUB'
ceph config set mgr mgr/alerts/interval 5m

ceph alerts send           # ép gửi ngay một thư để thử
Terminal node1: ceph mgr module enable alerts, các lệnh ceph config set mgr mgr/alerts/..., rồi ceph alerts send; thư 'Ceph HOATRANHUB' tới hộp thư admin@ qua đường root → system-mail.
Terminal node1: ceph mgr module enable alerts, các lệnh ceph config set mgr mgr/alerts/..., rồi ceph alerts send; thư 'Ceph HOATRANHUB' tới hộp thư admin@ qua đường root → system-mail.

Mọi node PVE đều có Postfix lắng nghe loopback nên khi mgr chuyển sang node khác vẫn gửi được. Đường đi smtp_destination root@localhost → Postfix → proxmox-mail-forward chưa được xác minh trên máy thật (cần kiểm lại; nếu thư không tới, xem Troubleshooting). Với cụm có Prometheus (bài 15), nên dùng thêm luồng 2 ở mục 8 vì nó vẫn cảnh báo khi trạng thái không đổi (ví dụ HEALTH_WARN kéo dài).

5.4 Ceph theo dõi sức khoẻ ổ qua SMART (device health)

Ceph tự thu thập SMART của ổ OSD (cần smartctl) và cảnh báo DEVICE_HEALTH*. Kiểm tra: ceph device ls (cột LIFE EXPECTANCY), ceph device monitoring on, ceph device scrape-health-metrics, ceph config get mgr mgr/devicehealth/scrape_frequency (mặc định 24 giờ). Lưu ý mgr/devicehealth/self_heal (mặc định bật) tự đánh dấu out ổ được dự đoán sắp hỏng nên dữ liệu bắt đầu di chuyển mà không ai bấm; không muốn thì ceph config set mgr mgr/devicehealth/self_heal false. Quyền để tiến trình Ceph chạy smartctl trên node PVE chưa được xác minh: coi smartd (mục 6) là nguồn chính, Ceph device health là bổ sung.

5.5 Prometheus/Alertmanager cho Ceph

Module prometheus của mgr (cổng 9283) và rule cảnh báo nằm ở mục 8.2 và 8.4, làm sau bài 15.

06

SMART: theo dõi sức khoẻ ổ đĩa

PVE đã làm gì sẵn (xác minh) · Chuẩn hoá /etc/smartd.conf · Ngưỡng hành động và chu kỳ kiểm tra

6.1 PVE đã làm gì sẵn (xác minh)

Theo docs PVE (System Administration → Disk Health Monitoring): smartmontools được cài và bắt buộc, smartd chạy và bật sẵn, quét các thiết bị /dev/sd[a-z], /dev/sd[a-z][a-z], /dev/hd[a-t], /dev/nvme[0-99] mỗi 30 phút và gửi email tới root khi phát hiện vấn đề. Vì thư đi tới root, trên PVE 9 nó trở thành sự kiện system-mail (mục 1.4). Như vậy chỉ cần default-matcher/m-push-system-mail là đã có cảnh báo SMART; PVE không có sự kiện SMART riêng nào khác. Các điểm cần tự bổ sung: lịch self-test định kỳ, ngưỡng nhiệt độ, kiểm tra với ổ sau RAID/HBA, và giám sát tập trung.

systemctl is-active smartmontools                  # active (smartd.service là bí danh)
grep -Ev '^\s*(#|$)' /etc/smartd.conf              # cấu hình đang áp dụng
smartctl --scan                                    # thiết bị và kiểu -d mà smartctl đề xuất
smartctl -H /dev/sda                               # PASSED / FAILED
smartctl -a /dev/sda | less                        # đầy đủ; NVMe: smartctl -a /dev/nvme0
# qua API PVE (dùng được từ xa, cho script/Ansible)
pvesh get /nodes/node1/disks/list --output-format json | jq -r '.[] | [.devpath,.model,.health] | @tsv'
pvesh get /nodes/node1/disks/smart --disk /dev/sda --healthonly 1

Giao diện: Node → Disks → chọn ổ → Show S.M.A.R.T. values.

Node → Disks, chọn một ổ rồi Show S.M.A.R.T. values: hộp thoại liệt kê Health PASSED và các thuộc tính (Reallocated_Sector_Ct, Current_Pending_Sector, Temperature). Với ổ QEMU HARDDISK của lab ảo hộp thoại báo không có dữ liệu SMART.
Node → Disks, chọn một ổ rồi Show S.M.A.R.T. values: hộp thoại liệt kê Health PASSED và các thuộc tính (Reallocated_Sector_Ct, Current_Pending_Sector, Temperature). Với ổ QEMU HARDDISK của lab ảo hộp thoại báo không có dữ liệu SMART.
Lab ảo: ổ QEMU HARDDISK của node (bài 02/03) thường không hỗ trợ SMART (smartctl -H báo "SMART support is: Unavailable" hoặc không có dòng PASSED) và smartd sẽ bỏ qua. Đó là bình thường: trong lab chỉ kiểm được đường đi của thư (mục 6.4); việc đọc SMART thật cần kiểm lại trên máy thật.

6.2 Chuẩn hoá /etc/smartd.conf

Đổi các điểm sau so với mặc định: thêm lịch self-test, ngưỡng nhiệt độ, khai báo rõ kiểu thiết bị (SATA/SAS/NVMe/RAID). Tham số theo man smartd.conf(5) của smartmontools 7.4: -a (bật các kiểm tra ATA chuẩn, gồm -H -f -t -l error -l selftest -C 197 -U 198), -o on/-S on (offline test, autosave của ATA), -n standby,q (bỏ qua ổ đang ngủ), -s REGEXP (lịch test), -W DIFF,INFO,CRIT (nhiệt độ), -m root -M exec …/smartd-runner (gửi thư tới root qua runner của Debian).

cp -a /etc/smartd.conf /etc/smartd.conf.bak-$(date +%F)
cat > /etc/smartd.conf << 'EOF'
# /etc/smartd.conf — chuẩn HOATRANLABS (bài 10)
# -s T/MM/DD/d/HH (khớp cả 12 ký tự): test NGẮN hằng ngày 05:00, test DÀI ngày 01 hằng tháng 05:00
# (node2 đổi 01 -> 02, node3 -> 03, node4 -> 04 để 4 node không cùng đọc ổ một lúc; 05:00 nằm ngoài các job backup 00:30-04:00)
# Thư: smartd-runner chạy /etc/smartmontools/run.d/*, thư tới root -> PVE system-mail

# 1) SATA/SAS SSD hoặc HDD nối trực tiếp (OS và OSD Ceph)
/dev/sda -d auto -a -o on -S on -n standby,q -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
/dev/sdb -d auto -a -o on -S on -n standby,q -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner

# 2) NVMe (bỏ comment khi có): ngưỡng nhiệt cao hơn SATA; self-test NVMe cần kiểm lại theo firmware
#/dev/nvme0 -d nvme -H -l error -W 0,70,80 -m root -M exec /usr/share/smartmontools/smartd-runner
# 3) SAS thuần SCSI sau HBA IT-mode
#/dev/sdc -d scsi -H -l error -l selftest -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
# 4) Sau RAID cứng (Dell PERC...): MỖI ổ vật lý một dòng, N là số thứ tự ổ trong RAID (cần kiểm lại trên máy thật)
#/dev/sda -d megaraid,0 -a -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner

# 5) Mọi ổ còn lại (gắn thêm về sau); DEVICESCAN phải là dòng cuối, các dòng sau nó bị bỏ qua
DEVICESCAN -d removable -a -n standby,q -m root -M exec /usr/share/smartmontools/smartd-runner
EOF

systemctl restart smartmontools
journalctl -u smartmontools -b --no-pager | tail -20
smartd -q showtests -c /etc/smartd.conf        # liệt kê các lần self-test sắp chạy (mẫu: S ngắn 05:xx hằng ngày)
Terminal node: sau khi ghi /etc/smartd.conf chuẩn hoá và systemctl restart smartmontools, journalctl -u smartmontools hiện các ổ được thêm vào danh sách theo dõi và smartd -q showtests liệt kê lịch self-test sắp chạy.
Terminal node: sau khi ghi /etc/smartd.conf chuẩn hoá và systemctl restart smartmontools, journalctl -u smartmontools hiện các ổ được thêm vào danh sách theo dõi và smartd -q showtests liệt kê lịch self-test sắp chạy.

Ghi chú:

  • Dòng 1 chỉ giữ những thiết bị thật có trên node; liệt kê bằng lsblk -d -o NAME,ROTA,TRAN,MODEL,SIZE rồi đối chiếu smartctl --scan. Ở quy mô lớn sinh dòng này bằng Ansible theo lớp phần cứng (mục 9).
  • Ổ sau RAID cứng, smartctl cần -d megaraid,N (hoặc sat+megaraid,N cho SATA sau MegaRAID, theo man của smartctl, cần kiểm lại); ổ nằm trong volume ảo không thấy được ở /dev/sdX. Với controller có công cụ riêng của hãng, giám sát bằng công cụ đó.
  • Với Ceph, không dùng RAID dưới OSD (bài 03): để HBA/IT-mode hoặc JBOD thì smartctl đọc thẳng được từng ổ.
  • Nâng cấp gói smartmontools có thể ghi lại /etc/smartd.conf: giữ bản gốc đã sao lưu và để Ansible là nguồn sự thật.

6.3 Ngưỡng hành động và chu kỳ kiểm tra

Chỉ báoHành độngGhi chú
SMART overall-health = FAILEDThay ổ ngayVới OSD: ceph osd out, thay OSD (bài 11)
ATA 5 Reallocated_Sector_Ct > 0 và tăngLên kế hoạch thayTăng nhanh hoặc kèm lỗi I/O thì thay ngay
ATA 197 Current_Pending_Sector, 198 Offline_Uncorrectable > 0Thay ổ-a đã bật -C 197 -U 198
ATA 199 UDMA_CRC_Error_Count tăngKiểm tra cáp/backplaneLỗi đường truyền, chưa chắc ổ hỏng
NVMe Critical Warning ≠ 0Thay ổsmartd -H kiểm byte này
NVMe Percentage Used ≥ 80%, Available Spare thấpLên kế hoạch thayỔ SSD sắp hết tuổi thọ ghi
NVMe Media and Data Integrity Errors > 0Thay ổ
Nhiệt độ (-W)SATA ≥ 55–60 °C, NVMe ≥ 70–75 °C: kiểm tra làm mátNgưỡng tham khảo; theo datasheet của hãng
Chu kỳViệc
Mỗi 30 phút (mặc định smartd)Đọc SMART, gửi thư khi có thay đổi xấu
Hằng ngày 05:00Self-test ngắn
Hằng tháng, lệch ngày giữa các nodeSelf-test dài (ảnh hưởng hiệu năng ổ OSD, nên tránh cao điểm)
Hằng quýXem lại smartctl -a các ổ có chỉ số xấu, kiểm tra xem thư cảnh báo vẫn tới (mục 6.4)

6.4 Kiểm tra đường đi của cảnh báo SMART

Trên phần cứng thật, dùng cấu hình thử riêng để smartd gửi một thư thử (-M test) mà không đụng cấu hình chính:

cat > /tmp/smartd-test.conf << 'EOF'
/dev/sda -d auto -H -m root -M test -M exec /usr/share/smartmontools/smartd-runner
EOF
smartd -n -c /tmp/smartd-test.conf -q onecheck      # chạy một vòng kiểm tra rồi thoát (cần kiểm lại trên máy thật)
rm -f /tmp/smartd-test.conf

Trên lab ảo (ổ không có SMART), mô phỏng phần của PVE: gửi thư tới root giống smartd:

echo "Giả lập: SMART FAILED trên /dev/sdb của $(hostname -s)" | mail -s "SMART error (giả lập) $(hostname -s)" root

Mong đợi: thư tới [email protected] (qua default-matcher) và tin trong Mattermost #alerts (qua m-push-system-mail).

Hook trực tiếp (tuỳ chọn): Debian chạy mọi script trong /etc/smartmontools/run.d/ mỗi khi smartd có cảnh báo, với biến môi trường SMARTD_* (SMARTD_FAILTYPE, SMARTD_DEVICE, SMARTD_MESSAGE, SMARTD_FULLMESSAGE). Cần khi muốn đẩy sang Gotify ngay cả lúc hệ thống thông báo PVE hỏng; nếu đã có m-push-system-mail thì thừa:

install -m 700 -d /etc/smartmontools && install -m 600 /dev/null /etc/smartmontools/gotify.token
read -rsp 'Gotify app token: ' T; echo "$T" > /etc/smartmontools/gotify.token
cat > /etc/smartmontools/run.d/50-gotify << 'EOF'
#!/bin/sh
# Chạy bởi smartd-runner (run-parts). Không báo lỗi khi Gotify không tới được.
[ -n "$SMARTD_FAILTYPE" ] || exit 0
TOKEN=$(cat /etc/smartmontools/gotify.token) || exit 0
curl -fsS --max-time 10 "http://10.11.45.36:3002/message?token=$TOKEN" \
  -F "title=SMART $SMARTD_FAILTYPE $(hostname -s) $SMARTD_DEVICE" \
  -F "message=$SMARTD_MESSAGE" -F "priority=8" >/dev/null || true
EOF
chmod 755 /etc/smartmontools/run.d/50-gotify
07

UPS với NUT: tắt cả cụm có thứ tự khi mất điện

Kiến trúc và vai trò · Cài đặt và cấu hình trên node1 (primary) · Cấu hình upsmon: primary trên node1, secondary trên node2–4

7.1 Kiến trúc và vai trò

Thiết bịVai trò NUTnut.confGhi chú
ups01 10.11.45.19UPS có thẻ mạng NMC (SNMP)—NMC, switch VLAN 45 và FortiGate phải cùng nằm trên UPS, nếu không node mất đường tới NMC khi mất điện
node1 10.11.45.210upsd (đọc ups01 bằng snmp-ups) + upsmon primarynetserverChạy script điều phối tắt cluster; upsd nghe 10.11.45.210:3493
node2–node4upsmon secondarynetclientChỉ dự phòng: tự tắt trễ nếu node1 không điều phối kịp
pbs01, pdm01 (VM trên node4)Không cài NUT—Là guest, tắt cùng các guest khác
syno-primary (NAS)Client NUT của DSM nếu hỗ trợ—Cần kiểm lại trên máy thật (mục 7.9)
node5, node6, pbsdr01 (site phụ)UPS và upsd riêng của sitestandaloneKhông dùng chung UPS với HOATRANHUB
node1 là điểm lỗi đơn của chuỗi này: nếu node1 chết trước khi mất điện thì không ai điều phối. Cluster lớn đặt upsd ở máy ngoài cluster (Raspberry Pi/mini PC, cũng là chỗ tốt cho QDevice, bài 03) và cho cả bốn node là secondary. Bài này theo thiết kế của lab (primary trên node1) vì node1 có sẵn; kịch bản dự phòng ở mục 7.3 giảm rủi ro.

Quy trình theo thời gian (giá trị mặc định của bài, chỉnh theo UPS thật):

MốcSự kiệnViệc xảy ra
T+0UPS chuyển sang pin (ONBATT)Bắt đầu hai bộ đếm
T+30 sVẫn trên pinEmail "UPS đang chạy bằng pin" (lọc nhiễu mất điện thoáng qua)
T+2 phútVẫn trên pinCắt tải: tắt guest gắn tag ups-shed để kéo dài thời gian pin
Khi battery.runtime < 900 s hoặc battery.charge < 30% (LOWBATT)primary phát FSDnode1 chạy pve-ups shutdown: dừng guest → noout → tắt node2–4 → tắt node1 (cần khoảng 8–10 phút). node2–4 là dự phòng, tự tắt sau 480 s
Điện lưới vềONLINEHủy bộ đếm; sau 5 phút ổn định bật lại guest đã cắt tải. Nếu cluster đã tắt: xem mục 7.7

Dung lượng UPS phải đủ: thời gian chạy pin ở tải thực tế nên ≥ 15 phút (ngưỡng pin yếu) + 10 phút đệm = 25 phút trở lên. Nếu UPS nhỏ hơn, đừng hạ ngưỡng xuống dưới thời gian tắt cluster mà hãy tăng dung lượng (thêm EBM) hoặc giảm tải. Đo thời gian tắt cluster thật ở bước thử (mục 7.6) rồi đặt ngưỡng.

7.2 Cài đặt và cấu hình trên node1 (primary)

apt update && apt install -y nut-server nut-client nut-snmp jq bsd-mailx sudo
cp -a /etc/nut /etc/nut.bak-$(date +%F)
install -d -m 750 -o root -g nut /var/lib/pve-ups

# nut.conf: chế độ máy chủ mạng
sed -i 's/^MODE=.*/MODE=netserver/' /etc/nut/nut.conf && grep ^MODE /etc/nut/nut.conf
# mật khẩu ngẫu nhiên cho 3 tài khoản NUT và SNMP (ghi lại vào Vaultwarden, bài 19)
for u in ADMIN PRIMARY SECONDARY; do echo "$u: $(openssl rand -base64 18)"; done

/etc/nut/ups.conf — UPS có NMC, đọc bằng SNMPv3 (thay <...>; bật SNMPv3 và tạo user chỉ đọc trên NMC, thao tác tuỳ hãng, cần kiểm lại trên máy thật). Các tuỳ chọn snmp_version, secLevel, secName, authProtocol, privProtocol theo man snmp-ups:

maxretry = 3

[ups01]
    driver = snmp-ups
    port = 10.11.45.19
    desc = "ups01 (NMC, SNMPv3)"
    mibs = auto
    snmp_version = v3
    secLevel = authPriv
    secName = nut-monitor
    authProtocol = SHA
    authPassword = <SNMP_AUTH_PASS>
    privProtocol = AES
    privPassword = <SNMP_PRIV_PASS>
    pollfreq = 15
    # Pin yếu do NUT tính (thay vì chỉ tin cờ LB của UPS): "Use with caution" theo man ups.conf
    ignorelb
    override.battery.charge.low = 30
    override.battery.runtime.low = 900

Biến thể: UPS nối USB trực tiếp vào node1 (không có NMC)

[ups01]
    driver = usbhid-ups
    port = auto
    desc = "ups01 (USB)"
    ignorelb
    override.battery.charge.low = 30
    override.battery.runtime.low = 900

nut-server đã chứa usbhid-ups; cắm cáp USB, lsusb phải thấy UPS. 1 node standalone dùng biến thể này với MODE=standalone.

Biến thể LAB ẢO: UPS mô phỏng bằng dummy-ups (để thử toàn bộ chuỗi)

[ups01]
    driver = dummy-ups
    port = ups01.dev
    desc = "UPS mô phỏng (lab ảo)"
cat > /etc/nut/ups01.dev << 'EOF'
device.type: ups
ups.mfr: HOATRANLABS
ups.model: dummy-sim
ups.status: OL
battery.charge: 100
battery.runtime: 1800
ups.load: 35
input.voltage: 230.0
EOF
chown root:nut /etc/nut/ups01.dev; chmod 640 /etc/nut/ups01.dev

Tệp *.dev chạy ở chế độ dummy-once: driver đọc lại khi thời gian sửa đổi (mtime) của tệp đổi, nên chỉnh ups.status là mô phỏng được mất điện (mục 7.6).

/etc/nut/upsd.conf (đổi LISTEN cần restart, không reload). LISTEN chỉ chọn địa chỉ nghe, không phải biện pháp bảo mật (man upsd.conf): bảo vệ bằng firewall:

LISTEN 127.0.0.1 3493
LISTEN 10.11.45.210 3493
MAXAGE 15

/etc/nut/upsd.users (người dùng NUT tách biệt với tài khoản hệ điều hành; allowfrom không còn, giới hạn nguồn bằng firewall):

[admin]
    password = <ADMIN_PASS>
    actions = SET
    instcmds = ALL
[upsmon-primary]
    password = <PRIMARY_PASS>
    upsmon primary
[upsmon-secondary]
    password = <SECONDARY_PASS>
    upsmon secondary
chown root:nut /etc/nut/*.conf /etc/nut/upsd.users; chmod 640 /etc/nut/*.conf /etc/nut/upsd.users

Firewall node1 (bài 05, mục 5.1): bài 05 đã soạn sẵn rule NUT trong /etc/pve/nodes/node1/host.fw ở dạng tắt (dòng bắt đầu bằng |), chỉ cho các node thuộc ipset-pve-nodes vào cổng 3493. Bài này bật rule đó và chỉ thêm đúng những bên cần đọc upsd: Prometheus (nut_exporter, bài 15 Bước 11) và NAS/PBS vật lý nếu chúng làm client NUT (VM pbs01 không cần vì dừng cùng các guest). Không mở 3493 cho nguồn nào khác:

cp -a /etc/pve/nodes/node1/host.fw /root/host.fw.bak-$(date +%F)
grep -n 3493 /etc/pve/nodes/node1/host.fw          # phải thấy dòng bài 05, đang bắt đầu bằng |
# bật rule NUT của bài 05 (bỏ dấu | đầu dòng)
sed -i 's/^|\(IN ACCEPT -source +dc\/ipset-pve-nodes -p tcp -dport 3493\)/\1/' /etc/pve/nodes/node1/host.fw
# nguồn đọc số liệu: alias prometheus có sẵn ở bài 05; NAS chỉ bỏ dấu # khi thật sự dùng làm client NUT (mục 7.9)
cat >> /etc/pve/nodes/node1/host.fw << 'EOF'
IN ACCEPT -source prometheus -p tcp -dport 3493 # nut_exporter (bài 15 Bước 11)
#IN ACCEPT -source 10.11.45.16 -p tcp -dport 3493 # syno-primary làm client NUT (cần kiểm lại)
EOF
pve-firewall compile 1>/dev/null                    # không in cảnh báo nghĩa là cú pháp ổn (cách kiểm của bài 05)
iptables -S PVEFW-HOST-IN | grep 3493               # thấy rule ACCEPT cho ipset-pve-nodes và 10.11.45.35

Giao diện tương đương: node1 → Firewall → Rules, chọn rule cổng 3493 và bật. Nếu grep không thấy dòng nào (chưa làm mục 5.1 của bài 05) thì thêm tay IN ACCEPT -source +dc/ipset-pve-nodes -p tcp -dport 3493 vào cuối host.fw của node1. upsd chỉ chạy trên node1 nên chỉ node1 cần rule này; chiều đi ra (node1 hỏi SNMP tới ups01, node2–4 nối tới node1) được phép theo chính sách OUT mặc định của bài 05.

7.3 Cấu hình upsmon: primary trên node1, secondary trên node2–4

node1 — /etc/nut/upsmon.conf (giữ bản gốc đã sao lưu; từ khoá primary tương đương master của NUT cũ):

MONITOR ups01@localhost 1 upsmon-primary <PRIMARY_PASS> primary
MINSUPPLIES 1
RUN_AS_USER nut
SHUTDOWNCMD "/usr/local/sbin/pve-ups shutdown"
NOTIFYCMD /usr/sbin/upssched
POLLFREQ 5
POLLFREQALERT 5
HOSTSYNC 15
DEADTIME 15
POWERDOWNFLAG /etc/killpower
NOTIFYFLAG ONLINE   SYSLOG+EXEC
NOTIFYFLAG ONBATT   SYSLOG+EXEC
NOTIFYFLAG LOWBATT  SYSLOG+EXEC
NOTIFYFLAG FSD      SYSLOG+EXEC
NOTIFYFLAG SHUTDOWN SYSLOG+EXEC
NOTIFYFLAG COMMBAD  SYSLOG+EXEC
NOTIFYFLAG COMMOK   SYSLOG+EXEC
NOTIFYFLAG NOCOMM   SYSLOG+EXEC
NOTIFYFLAG REPLBATT SYSLOG+EXEC

node2, node3, node4 — apt install -y nut-client, rồi:

sed -i 's/^MODE=.*/MODE=netclient/' /etc/nut/nut.conf
install -d -m 750 -o root -g nut /var/lib/pve-ups
cat > /etc/nut/upsmon.conf << 'EOF'
MONITOR [email protected] 1 upsmon-secondary <SECONDARY_PASS> secondary
MINSUPPLIES 1
RUN_AS_USER nut
SHUTDOWNCMD "/usr/local/sbin/pve-ups-secondary"
POLLFREQ 5
POLLFREQALERT 5
DEADTIME 15
POWERDOWNFLAG /etc/killpower
NOTIFYFLAG ONBATT  SYSLOG
NOTIFYFLAG LOWBATT SYSLOG
NOTIFYFLAG FSD     SYSLOG
NOTIFYFLAG COMMBAD SYSLOG
EOF
chown root:nut /etc/nut/upsmon.conf; chmod 640 /etc/nut/upsmon.conf

cat > /usr/local/sbin/pve-ups-secondary << 'EOF'
#!/bin/sh
# SHUTDOWNCMD của upsmon secondary (node2-4). node1 đang điều phối tắt cluster nên CHỜ rồi mới tự tắt (dự phòng).
D=/var/lib/pve-ups; WAIT=${WAIT:-480}
logger -t pve-ups "FSD từ node1: chờ ${WAIT}s cho node1 điều phối; nếu chưa bị tắt sẽ tự tắt"
if [ -e "$D/dry-run" ]; then logger -t pve-ups "[DRY_RUN] sẽ tắt sau ${WAIT}s, không thực thi"; exit 0; fi
sleep "$WAIT"
exec /sbin/shutdown -h now "UPS: dự phòng tắt node (node1 không điều phối kịp)"
EOF
chmod 755 /usr/local/sbin/pve-ups-secondary
systemctl enable --now nut-monitor.service

Khi mất điện và node1 hỏng, bốn node không có primary: đó là lý do mục 7.1 khuyên chuyển upsd ra máy ngoài cluster khi cụm lớn.

7.4 Script điều phối pve-ups và dịch vụ khôi phục (node1)

Script tuân theo quy trình tắt/bật cụm Proxmox + Ceph trong docs PVE (chương Ceph, mục Shutdown Proxmox VE + Ceph HCI cluster): dừng mọi client trước (khi dừng bằng công cụ PVE, guest HA chuyển sang stopped), kiểm tra Ceph, đặt noout, tắt dần node; khi bật lại: bật các node có MON trước, bỏ noout, rồi bật guest. Script tự stopall từng node nên tôn trọng thứ tự và thời gian dừng startup của từng guest (order, down) và đã ghi lại danh sách guest đang chạy để bật lại.

Script chạy bằng root trên node1 và tắt máy thật. Luôn tạo cờ touch /var/lib/pve-ups/dry-run trên mọi node trước khi thử (script chỉ ghi log). Chưa thử trên máy thật: kiểm tra từng bước ở staging trước.
cat > /usr/local/sbin/pve-ups << 'EOF'
#!/usr/bin/env bash
# /usr/local/sbin/pve-ups — điều phối UPS cho cluster HOATRANHUB (chạy trên node1, root)
#   shed | restore | shutdown | recover        Cờ /var/lib/pve-ups/dry-run (hoặc DRY_RUN=1): chỉ ghi log
set -uo pipefail
STATE=/var/lib/pve-ups; mkdir -p "$STATE"
DRY_RUN=${DRY_RUN:-0}; [ -e "$STATE/dry-run" ] && DRY_RUN=1
log()  { logger -t pve-ups -- "$*"; echo "$(date -Is) $*"; }
run()  { if [ "$DRY_RUN" = 1 ]; then log "[DRY_RUN] $*"; else "$@"; fi; }
note() { printf '%s\n' "$2" | mail -s "$1" root || true; }     # thư root -> PVE system-mail -> matcher mục 3.3
guests() { pvesh get /cluster/resources --type vm --output-format json; }
wait_for() { local t=0; [ "$DRY_RUN" = 1 ] && return 0; while [ "$t" -lt "$1" ]; do "$2" && return 0; sleep 10; t=$((t+10)); done; return 1; }
no_guests()   { [ "$(guests | jq '[.[] | select(.status=="running")] | length')" = 0 ]; }
others_off()  { for n in "${OTHERS[@]}"; do ping -c1 -W1 "$n" >/dev/null 2>&1 && return 1; done; return 0; }
quorate()     { pvecm status 2>/dev/null | grep -q 'Quorate:[[:space:]]*Yes'; }
all_osds_up() { ceph osd stat -f json 2>/dev/null | jq -e '.num_osds > 0 and .num_up_osds == .num_osds' >/dev/null; }

shed() {   # tắt guest gắn tag ups-shed (đặt tag: qm set <vmid> --tags ups-shed)
  guests | jq -r '.[] | select(.status=="running" and ((.tags // "") | split(";") | index("ups-shed"))) | "\(.type) \(.node) \(.vmid)"' > "$STATE/shed.list"
  [ -s "$STATE/shed.list" ] || { log "shed: không có guest gắn tag ups-shed"; return 0; }
  note "[UPS] Cắt tải: tắt guest tag ups-shed" "$(cat "$STATE/shed.list")"
  while read -r type node vmid; do
    run pvesh create "/nodes/$node/$type/$vmid/status/shutdown" --timeout 120 --forceStop 1 || true
  done < "$STATE/shed.list"
}
restore() {
  [ -s "$STATE/shed.list" ] || return 0
  while read -r type node vmid; do run pvesh create "/nodes/$node/$type/$vmid/status/start" || true; done < "$STATE/shed.list"
  run rm -f "$STATE/shed.list"; note "[UPS] Điện lưới ổn định: đã bật lại guest cắt tải" "xong"
}
shutdown_cluster() {
  exec 9>/run/pve-ups.lock; flock -n 9 || { log "shutdown đang chạy, bỏ qua"; return 0; }
  log "=== BẮT ĐẦU tắt cluster theo thứ tự ==="
  [ "$DRY_RUN" = 1 ] || date -Is > "$STATE/shutdown.flag"
  note "[UPS] Bắt đầu tắt cluster HOATRANHUB" "Pin yếu hoặc FSD: dừng guest -> noout -> tắt node2-4 -> tắt node1."
  local me; me=$(hostname -s)
  mapfile -t OTHERS < <(pvesh get /nodes --output-format json | jq -r --arg me "$me" '.[] | select(.status=="online" and .node!=$me) | .node')
  # 0. ghi danh sách guest đang chạy để bật lại sau
  guests | jq '[.[] | select(.status=="running") | {type, node, vmid, ha: (.hastate != null)}]' > "$STATE/guests.json"
  # 1. guest HA -> state stopped (không bị khôi phục sang node khác)
  jq -r '.[] | select(.ha) | (if .type=="qemu" then "vm" else "ct" end) + ":" + (.vmid|tostring)' "$STATE/guests.json" \
    | while read -r sid; do run ha-manager set "$sid" --state stopped; done
  # 2. dừng mọi guest còn lại trên từng node (stopall theo thứ tự startup đảo ngược, 120 s mỗi guest)
  for n in "$me" "${OTHERS[@]}"; do run pvesh create "/nodes/$n/stopall" --timeout 120 --force-stop 1 || true; done
  wait_for 600 no_guests || log "CẢNH BÁO: vẫn còn guest chạy sau 600 s"
  # 3. Ceph: không đánh dấu OSD out khi node tắt dần
  run timeout 30 ceph osd set noout || log "không đặt được noout"
  # 4. tắt các node khác (guest đã dừng nên thứ tự không còn quan trọng), node1 tắt cuối
  for n in "${OTHERS[@]}"; do run pvesh create "/nodes/$n/status" --command shutdown || true; done
  wait_for 240 others_off || log "một số node chưa tắt sau 240 s"
  log "=== Tắt node $me (cuối cùng) ==="; run systemctl poweroff
}
recover() {   # chạy khi node1 khởi động lại sau lần tắt có cờ shutdown.flag
  [ -e "$STATE/shutdown.flag" ] || { log "recover: không có cờ, bỏ qua"; return 0; }
  wait_for 1800 quorate     || { note "[UPS] Chưa đủ quorum sau 30 phút" "Kiểm tra node2-4, mạng corosync; noout vẫn còn."; return 1; }
  wait_for 1800 all_osds_up || { note "[UPS] Ceph chưa đủ OSD up sau 30 phút" "Xử lý tay rồi: ceph osd unset noout"; return 1; }
  run ceph osd unset noout
  jq -r '.[] | "\(.type) \(.node) \(.vmid)"' "$STATE/guests.json" | while read -r type node vmid; do
    st=$(pvesh get "/nodes/$node/$type/$vmid/status/current" --output-format json 2>/dev/null | jq -r '.status // "unknown"')
    [ "$st" = running ] || run pvesh create "/nodes/$node/$type/$vmid/status/start" || true
    sleep 2
  done
  run rm -f "$STATE/shutdown.flag"; note "[UPS] Cluster đã khởi động lại" "Đã bỏ noout và bật lại guest. Kiểm tra ceph -s, ha-manager status."
}
case "${1:-}" in shed) shed;; restore) restore;; shutdown) shutdown_cluster;; recover) recover;;
  *) echo "Dùng: $0 shed|restore|shutdown|recover"; exit 2;; esac
EOF
chmod 750 /usr/local/sbin/pve-ups; chown root:root /usr/local/sbin/pve-ups

cat > /etc/systemd/system/pve-ups-recover.service << 'EOF'
[Unit]
Description=Khôi phục cluster sau khi tắt do UPS (bỏ noout, bật lại guest)
After=pve-cluster.service ceph.target pve-guests.service network-online.target
Wants=network-online.target
ConditionPathExists=/var/lib/pve-ups/shutdown.flag

[Service]
Type=simple
ExecStart=/usr/local/sbin/pve-ups recover
TimeoutStartSec=3700

[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload && systemctl enable pve-ups-recover.service

# Cho Ceph thời gian lên trước khi PVE tự bật guest onboot (tối đa 300 s mỗi node)
for n in node1 node2 node3 node4; do pvesh set "/nodes/$n/config" --startall-onboot-delay 120; done

Về HA: vì script đặt guest HA về stopped rồi stopall, chính sách ha: shutdown_policy (Datacenter → Options → HA Settings) không ảnh hưởng luồng chính. Nó chỉ quyết định cách tắt dự phòng của node2–4 và các lần tắt lẻ: conditional (mặc định) khôi phục dịch vụ sang node khác khi tắt hẳn node, đóng băng khi reboot; freeze đóng băng, không khôi phục khi node tắt; failover luôn khôi phục; migrate di chuyển đi trước. Giữ conditional cho vận hành hằng ngày (bài 06 dùng maintenance mode ha-manager crm-command node-maintenance enable/disable <node> khi cập nhật).

7.5 Thông báo từ NUT: upssched và sudo

upsmon gọi upssched, upssched chạy script theo sự kiện hoặc bộ đếm. Script chạy bằng user nut nên chỉ gửi thư (đi qua system-mail) và gọi pve-ups shed|restore qua sudo giới hạn đúng hai lệnh:

cat > /etc/nut/upssched.conf << 'EOF'
CMDSCRIPT /usr/local/sbin/upssched-cmd
PIPEFN /run/nut/upssched/upssched.pipe
LOCKFN /run/nut/upssched/upssched.lock

AT ONBATT  * START-TIMER onbatt-warn 30
AT ONBATT  * START-TIMER shed 120
AT ONBATT  * CANCEL-TIMER restore
AT ONLINE  * CANCEL-TIMER onbatt-warn online
AT ONLINE  * CANCEL-TIMER shed
AT ONLINE  * START-TIMER restore 300
AT LOWBATT * EXECUTE lowbatt
AT FSD     * EXECUTE fsd
AT COMMBAD * START-TIMER commbad 60
AT COMMOK  * CANCEL-TIMER commbad
AT REPLBATT * EXECUTE replbatt
EOF
install -d -o nut -g nut -m 750 /run/nut/upssched
echo 'd /run/nut/upssched 0750 nut nut -' > /etc/tmpfiles.d/nut-upssched.conf

cat > /usr/local/sbin/upssched-cmd << 'EOF'
#!/bin/sh
# Chạy bởi upssched (user nut). Thư gửi root -> PVE system-mail -> matcher (mục 3.3).
send() { printf '%s\n' "$2" | mail -s "$1" root; }
case "$1" in
  onbatt-warn) send "[UPS] ups01 đang chạy bằng pin" "Mất điện lưới hơn 30 giây. Kiểm tra nguồn điện; cluster sẽ tự tắt có thứ tự khi pin yếu." ;;
  shed)        sudo -n /usr/local/sbin/pve-ups shed ;;
  online)      send "[UPS] Điện lưới đã trở lại" "ups01 đã về nguồn lưới." ;;
  restore)     sudo -n /usr/local/sbin/pve-ups restore ;;
  lowbatt)     send "[UPS] PIN YẾU ups01" "Pin yếu: node1 sắp tắt cluster theo thứ tự." ;;
  fsd)         send "[UPS] FSD: tắt cluster" "Đã phát lệnh tắt khẩn (FSD)." ;;
  commbad)     send "[UPS] Mất liên lạc với ups01" "Hơn 60 giây không đọc được UPS (NMC/SNMP hoặc USB)." ;;
  replbatt)    send "[UPS] Cần thay pin ups01" "UPS báo cần thay pin." ;;
  *) logger -t upssched-cmd "sự kiện không biết: $1" ;;
esac
EOF
chmod 755 /usr/local/sbin/upssched-cmd

echo 'nut ALL=(root) NOPASSWD: /usr/local/sbin/pve-ups shed, /usr/local/sbin/pve-ups restore' > /etc/sudoers.d/nut-pve-ups
chmod 440 /etc/sudoers.d/nut-pve-ups && visudo -cf /etc/sudoers.d/nut-pve-ups

systemctl restart nut-driver-enumerator.service
systemctl enable --now nut-server.service nut-monitor.service
systemctl restart nut-server.service nut-monitor.service
systemctl list-units 'nut*' --no-pager      # tên unit có thể khác theo gói, cần kiểm lại trên máy thật
upsc [email protected] | grep -E 'ups.status|battery.charge|battery.runtime|ups.load|input.voltage'
Terminal node1: systemctl list-units 'nut*' cho nut-server, nut-monitor và nut-driver@ups01 ở trạng thái active; upsc ups01@10.11.45.210 trả ups.status: OL, battery.charge, battery.runtime, ups.load, input.voltage.
Terminal node1: systemctl list-units 'nut*' cho nut-server, nut-monitor và nut-driver@ups01 ở trạng thái active; upsc [email protected] trả ups.status: OL, battery.charge, battery.runtime, ups.load, input.voltage.

Cú pháp CANCEL-TIMER timername [cmd] (man upssched.conf): nếu bộ đếm đã chạy xong, lệnh cmd được gọi. Vì vậy dòng AT ONLINE * CANCEL-TIMER onbatt-warn online chỉ gửi thư "điện lưới đã trở lại" khi trước đó thư "chạy bằng pin" đã gửi (bỏ qua mất điện thoáng qua dưới 30 giây).

Gán tag cắt tải cho VM không thiết yếu (VM thử nghiệm, build, v.v.), không gán cho VM trong chuỗi Mailu/Pi-hole/step-CA:

qm set 9999 --tags ups-shed          # ví dụ; tag cách nhau bằng dấu ;
pvesh get /cluster/resources --type vm --output-format json | jq -r '.[] | select((.tags // "") | contains("ups-shed")) | .vmid'

7.6 Kiểm tra theo ba mức (không cắt điện thật)

MứcCách làmKiểm tra gì
1. Mô phỏng (lab ảo, dummy-ups)Sửa ups.status trong /etc/nut/ups01.devThư, bộ đếm shed, restore, chuỗi FSD
2. Chạy khô (UPS thật)Cờ dry-run + upsmon -c fsdChuỗi FSD tới mọi node mà không tắt gì
3. Cắt điện thậtRút nguồn lưới của UPS trong cửa sổ bảo trì, trên staging trướcThời gian tắt thật, thứ tự, khôi phục
# Mức 1+2 — trên MỌI node: bật cờ chạy khô để script chỉ ghi log
touch /var/lib/pve-ups/dry-run

# Mô phỏng mất điện (chỉ với dummy-ups): trên node1
sed -i 's/^ups.status:.*/ups.status: OB/' /etc/nut/ups01.dev
# +30 giây: thư "đang chạy bằng pin"; +2 phút: pve-ups shed (log DRY_RUN)
journalctl -t pve-ups -t upssched-cmd -f &

# Pin yếu -> FSD
sed -i 's/^ups.status:.*/ups.status: OB LB/' /etc/nut/ups01.dev
# Với UPS thật (mức 2) thay bước trên bằng:  upsmon -c fsd    (CHỈ khi dry-run đã bật trên mọi node)

# Điện về
sed -i 's/^ups.status:.*/ups.status: OL/' /etc/nut/ups01.dev

Mong đợi (mẫu): trên node1 log có [DRY_RUN] ha-manager set vm:… --state stopped, [DRY_RUN] pvesh create /nodes/node2/stopall …, [DRY_RUN] ceph osd set noout, [DRY_RUN] pvesh create /nodes/node4/status --command shutdown, Tắt node node1 (cuối cùng); trên node2–4 log [DRY_RUN] sẽ tắt sau 480s. Xong gỡ cờ trên mọi node: rm -f /var/lib/pve-ups/dry-run.

Terminal node1 khi chạy khô (cờ dry-run): journalctl -t pve-ups ghi các dòng [DRY_RUN] ha-manager set ... --state stopped, pvesh create .../stopall, ceph osd set noout và pvesh create .../status --command shutdown theo đúng thứ tự.
Terminal node1 khi chạy khô (cờ dry-run): journalctl -t pve-ups ghi các dòng [DRY_RUN] ha-manager set ... --state stopped, pvesh create .../stopall, ceph osd set noout và pvesh create .../status --command shutdown theo đúng thứ tự.
upsmon -c fsd trên cluster thật không bật cờ chạy khô sẽ tắt toàn bộ cụm. Kiểm tra ls /var/lib/pve-ups/dry-run trên cả 4 node trước khi chạy. Mức 3 làm đầu tiên trên cluster staging; trên production chỉ làm khi có kế hoạch và người trực.

7.7 Bật lại sau khi có điện

  1. BIOS/iDRAC: đặt "Restore on AC Power Loss" = Power On để node tự khởi động khi điện lưới (qua UPS) trở lại. Lưu ý: nếu điện lưới đã về trước khi node tắt hẳn, UPS chưa mất nguồn nên node không tự bật; muốn tự bật phải để UPS tắt rồi bật lại tải (NUT POWERDOWNFLAG và lệnh upsdrvctl shutdown ở giai đoạn cuối; một số UPS/NMC không hỗ trợ, cần kiểm lại trên máy thật) hoặc bật tay qua iDRAC/IPMI.
  2. Thứ tự khởi động: các node có MON lên trước (ở HOATRANHUB cả 4 node đều có MON), node1 chạy pve-ups-recover.service: chờ quorum và đủ OSD up rồi bỏ noout và bật lại guest.
  3. Kiểm tra: journalctl -u pve-ups-recover -b, pvecm status, ceph -s (chỉ còn cảnh báo noout cho tới khi script bỏ cờ), ha-manager status, và các VM nền tảng (Pi-hole, Mailu, step-CA) đã chạy.
  4. Nếu pve-ups-recover báo lỗi: xử lý tay rồi ceph osd unset noout, rm /var/lib/pve-ups/shutdown.flag (runbook bài 11).

7.8 Quy mô và bảo mật NUT

  • upsd truyền dạng rõ trong mạng. Bản NUT của Debian dùng NSS cho TLS (gói phụ thuộc libnss3), cấu hình bằng CERTPATH/CERTIDENT; chưa xác minh cách tạo cơ sở NSS từ step-CA, nên bài coi VLAN 45 là vùng tin cậy và giới hạn bằng firewall. Mật khẩu tách riêng cho admin, upsmon-primary, upsmon-secondary.
  • Nhiều UPS/rack: mỗi UPS một upsd (hoặc một upsd quản nhiều [upsNN] trong ups.conf) và chỉ các node cùng nguồn làm secondary. Sinh upsmon.conf bằng Ansible template theo inventory (mục 9) để mỗi node trỏ đúng UPS của rack.
  • Mỗi cluster có script pve-ups riêng (danh sách node lấy từ pvesh get /nodes, không viết cứng).

7.9 NAS và thiết bị khác

NAS syno-primary (10.11.45.16) và pbsdr01/NAS site phụ có cơ chế UPS riêng của hãng. Với Synology DSM 7 trang UPS (Control Panel → Hardware & Power) cho đặt thời gian vào chế độ an toàn và chế độ client mạng; việc DSM đóng vai client của NUT server bên thứ ba và cách xác thực chưa được xác minh (một số hướng dẫn cộng đồng đề cập tài khoản cố định, cần kiểm lại trên máy thật). Nguyên tắc: NAS chứa datastore PBS phải tắt sau pbs01 (VM101 là guest nên đã dừng ở bước dừng guest của script). Nếu NAS hay PBS vật lý làm client NUT thì bỏ dấu # ở dòng rule 3493 dành cho IP của nó trong host.fw của node1 (mục 7.2); mọi nguồn khác không được phép.

08

Tích hợp Prometheus và Alertmanager (làm sau bài 15 và bài 37)

Đã có ở bài 15 Bước 11 và điều kiện phía bài 10 · Ceph: module prometheus của mgr · SMART: smartctl_exporter trên từng node

Luồng 2 theo dõi xu hướng và ngưỡng sớm, tập trung nhiều cluster, và gửi qua Alertmanager (container alertmanager trên VM235, đã có route Mattermost ở bài 37 mục 4.4 cho severity là critical hoặc warning). Phần cài exporter cho PVE và UPS đã nằm ở bài 15, Bước 11; mục này chỉ nêu điều kiện phía bài 10 và thêm exporter/rule cho Ceph, SMART, UPS. Mọi chỉnh sửa vào prometheus.yml là gộp thêm job vào file đã tạo ở bài 15, không ghi đè.

8.1 Đã có ở bài 15 Bước 11 và điều kiện phía bài 10

Job (bài 15)ExporterĐiều kiện phía bài 10
pve, pve-per-nodeprometheus-pve-exporter 3.10.1 (container pve-exporter, cổng 9221)Token svc-monitoring@pve!prometheus có quyền đọc (bài 08); rule sg-pve-integr của bài 05 cho VM235 10.11.45.35 vào cổng 8006 (bật khi làm bài 15)
nutnut_exporter 3.3.0 (container nut-exporter, cổng 9199)upsd nghe 10.11.45.210:3493 và firewall node1 mở cho 10.11.45.35 (mục 7.2); UPS tên ups01

Kiểm tra ở Prometheus UI → Status → Targets: pve, pve-per-node (4 target) và nut ở trạng thái UP. nut_exporter không cần user NUT: đọc biến UPS qua upsd không đòi xác thực, quyền truy cập do firewall quyết định. Rule PVENodeDown và NutExporterDown đã có ở bài 15 (/opt/prometheus/rules/proxmox.yml); các rule dưới đây đặt vào tệp mới để không trùng.

Prometheus → Status → Targets (VM235): các job pve, pve-per-node (4 target), nut, ceph và smartctl đều ở trạng thái UP; cột Last Scrape hiện thời điểm scrape gần nhất.
Prometheus → Status → Targets (VM235): các job pve, pve-per-node (4 target), nut, ceph và smartctl đều ở trạng thái UP; cột Last Scrape hiện thời điểm scrape gần nhất.

8.2 Ceph: module prometheus của mgr

ceph mgr module enable prometheus
ceph config get mgr mgr/prometheus/server_port                       # 9283 mặc định
curl -s http://10.11.45.210:9283/metrics | grep -E '^ceph_health_status|^ceph_osd_up' | head -5

Cổng 9283 do mgr đang active phục vụ (bài 03: mgr active trên node1, standby trên node2). Bài 05 đã soạn sẵn rule 9283 trong nhóm sg-pve-integr (đang tắt): bật nó bằng Datacenter → Firewall → Security Group → sg-pve-integr (chọn rule, bật) hoặc bỏ dấu | đầu dòng trong /etc/pve/firewall/cluster.fw. Rồi thêm job vào prometheus.yml trên VM235 và reload:

- job_name: 'ceph'
    honor_labels: true
    static_configs:
      - targets: ['10.11.45.210:9283', '10.11.45.211:9283']   # mgr active + standby
curl -X POST http://10.11.45.35:9090/-/reload

8.3 SMART: smartctl_exporter trên từng node

smartctl_exporter 0.15.0 (prometheus-community) cần chạy bằng root (README: người dùng thường không gửi được lệnh ATA tới ổ SATA), cổng mặc định 9633. Cài trên từng node (Ansible ở mục 9; kiểm tra tên thư mục trong tarball bằng tar tzf trước khi chép):

V=0.15.0; cd /tmp
BASE="https://github.com/prometheus-community/smartctl_exporter/releases/download/v${V}"
curl -fsSLO "$BASE/smartctl_exporter-${V}.linux-amd64.tar.gz" -O "$BASE/sha256sums.txt"
grep 'linux-amd64.tar.gz' sha256sums.txt | sha256sum -c -        # phải in OK
tar xzf "smartctl_exporter-${V}.linux-amd64.tar.gz"
install -m 755 "smartctl_exporter-${V}.linux-amd64/smartctl_exporter" /usr/local/bin/

cat > /etc/systemd/system/smartctl_exporter.service << 'EOF'
[Unit]
Description=smartctl_exporter (SMART cho Prometheus)
After=network-online.target

[Service]
User=root
ExecStart=/usr/local/bin/smartctl_exporter --web.listen-address=:9633 --smartctl.interval=60s
Restart=on-failure
NoNewPrivileges=yes
ProtectHome=yes

[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload && systemctl enable --now smartctl_exporter
curl -s localhost:9633/metrics | grep -c '^smartctl_'

Cổng 9633 chưa có trong bài 05, nên thêm một rule vào nhóm sg-pve-integr (áp cho mọi node), chỉ cho Prometheus; sau đó thêm job:

cp -a /etc/pve/firewall/cluster.fw /root/cluster.fw.bak-$(date +%F)
sed -i '/^\[group sg-pve-integr\]/a IN ACCEPT -source prometheus -p tcp -dport 9633 # smartctl_exporter (bài 10)' /etc/pve/firewall/cluster.fw
pve-firewall compile 1>/dev/null && echo "cú pháp ổn"
- job_name: 'smartctl'
    static_configs:
      - targets: ['10.11.45.210:9633', '10.11.45.211:9633', '10.11.45.212:9633', '10.11.45.213:9633']

Trên lab ảo exporter không có số liệu SMART (ổ không hỗ trợ), nên các rule SMART chỉ kiểm được trên máy thật.

8.4 Rule cảnh báo mẫu

Đặt ba tệp vào /opt/prometheus/rules/ (VM235) rồi kiểm tra cú pháp và nạp lại. Tên metric kiểm lại trên /metrics của đúng phiên bản exporter đang chạy (nhất là smartctl_* và nhãn flag của nut_exporter):

cat > /opt/prometheus/rules/ceph.yml << 'EOF'
groups:
  - name: ceph
    rules:
      - {alert: CephHealthError, expr: 'ceph_health_status == 2', for: 1m, labels: {severity: critical}, annotations: {summary: "Ceph HEALTH_ERR (xem ceph health detail)"}}
      - {alert: CephHealthWarn, expr: 'ceph_health_status == 1', for: 15m, labels: {severity: warning}, annotations: {summary: "Ceph HEALTH_WARN kéo dài hơn 15 phút"}}
      - {alert: CephOsdDown, expr: 'ceph_osd_up == 0', for: 5m, labels: {severity: critical}, annotations: {summary: "OSD {{ $labels.ceph_daemon }} down"}}
      - {alert: CephOsdFull, expr: 'ceph_health_detail{name=~"OSD_FULL|OSD_BACKFILLFULL"} == 1', labels: {severity: critical}, annotations: {summary: "OSD vượt backfillfull/full: VM sắp treo I/O"}}
      - {alert: CephOsdNearFull, expr: 'ceph_health_detail{name="OSD_NEARFULL"} == 1', labels: {severity: warning}, annotations: {summary: "OSD vượt nearfull (85%)"}}
      # 4 node, mỗi node 1 OSD SSD + 1 OSD HDD (mỗi class 1 OSD/node): mất 1 node thì mức dùng OSD cùng class nhân 4/3; giữ dưới 0.85*3/4 ≈ 64% (mục 5.1). Rule gộp cả hai class
      - {alert: CephOsdUsageN1, expr: '(ceph_osd_stat_bytes_used / ceph_osd_stat_bytes) > 0.60', for: 30m, labels: {severity: warning}, annotations: {summary: "{{ $labels.ceph_daemon }} dùng trên 60%: mất 1 node sẽ chạm nearfull"}}
      - {alert: CephMonOutOfQuorum, expr: 'count(ceph_mon_quorum_status == 0) > 0', for: 5m, labels: {severity: warning}, annotations: {summary: "Có MON ngoài quorum"}}
EOF

cat > /opt/prometheus/rules/smart.yml << 'EOF'
groups:
  - name: smart
    rules:
      - {alert: SmartHealthFailed, expr: 'smartctl_device_smart_status == 0', for: 5m, labels: {severity: critical}, annotations: {summary: "SMART FAILED: {{ $labels.instance }} {{ $labels.device }}"}}
      - {alert: DiskTemperatureHigh, expr: 'smartctl_device_temperature{temperature_type="current"} > 60', for: 15m, labels: {severity: warning}, annotations: {summary: "Nhiệt độ ổ cao: {{ $labels.instance }} {{ $labels.device }}"}}
      - {alert: NvmeWearHigh, expr: 'smartctl_device_percentage_used > 80', for: 1h, labels: {severity: warning}, annotations: {summary: "NVMe đã dùng trên 80% tuổi thọ: {{ $labels.instance }} {{ $labels.device }}"}}
      - {alert: NvmeCriticalWarning, expr: 'smartctl_device_critical_warning > 0', labels: {severity: critical}, annotations: {summary: "NVMe Critical Warning: {{ $labels.instance }} {{ $labels.device }}"}}
      - {alert: SmartExporterDown, expr: 'up{job="smartctl"} == 0', for: 10m, labels: {severity: warning}, annotations: {summary: "Không đọc được smartctl_exporter trên {{ $labels.instance }}"}}
EOF

cat > /opt/prometheus/rules/ups.yml << 'EOF'
groups:
  - name: ups
    rules:
      - {alert: UpsOnBattery, expr: 'network_ups_tools_ups_status{flag="OB"} == 1', for: 30s, labels: {severity: critical}, annotations: {summary: "ups01 đang chạy bằng pin (mất điện lưới)"}}
      - {alert: UpsLowBattery, expr: 'network_ups_tools_ups_status{flag="LB"} == 1', labels: {severity: critical}, annotations: {summary: "ups01 pin yếu: cluster đang/sắp tắt có thứ tự"}}
      - {alert: UpsReplaceBattery, expr: 'network_ups_tools_ups_status{flag="RB"} == 1', for: 1h, labels: {severity: warning}, annotations: {summary: "ups01 báo cần thay pin"}}
      - {alert: UpsLoadHigh, expr: 'network_ups_tools_ups_load > 80', for: 10m, labels: {severity: warning}, annotations: {summary: "Tải ups01 trên 80%: thời gian chạy pin ngắn hơn tính toán"}}
EOF

docker exec prometheus promtool check rules /etc/prometheus/rules/ceph.yml /etc/prometheus/rules/smart.yml /etc/prometheus/rules/ups.yml
curl -X POST http://10.11.45.35:9090/-/reload

Mô phỏng để thấy cảnh báo chạy: với dummy-ups (mục 7.2) đổi ups.status sang OB ≥ 30 giây: UpsOnBattery chuyển Pending → Firing ở Alerts, và Alertmanager gửi thư/tin sau group_wait (30 giây, bài 15). Nhớ đặt lại OL. Rule CephOsdUsageN1 tạm đổi ngưỡng xuống thấp hơn mức dùng hiện tại để thử rồi trả về 0.60.

Prometheus → Alerts khi mô phỏng mất điện bằng dummy-ups: UpsOnBattery chuyển từ Pending sang Firing; thông báo tương ứng xuất hiện trong kênh #alerts của Mattermost qua Alertmanager.
Prometheus → Alerts khi mô phỏng mất điện bằng dummy-ups: UpsOnBattery chuyển từ Pending sang Firing; thông báo tương ứng xuất hiện trong kênh #alerts của Mattermost qua Alertmanager.

8.5 Gotify cho cảnh báo nghiêm trọng (tuỳ chọn)

Alertmanager không có receiver Gotify gốc; dùng cầu nối alertmanager_gotify_bridge của DRuggeri (nhận webhook Alertmanager rồi gọi API Gotify; tiêu đề lấy từ annotation summary, nội dung từ description, độ ưu tiên từ priority). Thêm service vào compose của VM235 (tạo app Gotify riêng tên alertmanager để lấy token; ghim phiên bản trước khi dùng thật):

gotify-bridge:
    image: druggeri/alertmanager_gotify_bridge:latest      # ghim tag đã kiểm tra
    container_name: gotify-bridge
    restart: unless-stopped
    environment:
      - GOTIFY_ENDPOINT=http://10.11.45.36:3002/message
      - GOTIFY_TOKEN=<GOTIFY_APP_TOKEN>
    networks:
      - monitoring

Và gộp vào alertmanager.yml (cùng khối receivers: và route: đã có, như bài 37 mục 4.4): receiver gotify-critical với webhook_configs: - url: 'http://gotify-bridge:8080/gotify_webhook', cùng một route con matchers: [severity="critical"], receiver: gotify-critical, continue: true đặt trước các route đang có. Nạp lại: cd /opt/prometheus && docker compose up -d && docker compose restart alertmanager.

09

Quy mô lớn: Ansible và API

Nguyên tắc cho nhiều node/cluster: (1) một nguồn sự thật trong Git (Gitea, bài 22); (2) cấu hình thông báo là cấp cluster nên chạy trên một node mỗi cluster; (3) cấu hình smartd, nut, smartctl_exporter là cấp node, sinh từ template theo lớp phần cứng và theo UPS của rack; (4) bí mật (mật khẩu SMTP, token Gotify, hook Mattermost) trong Ansible Vault; (5) lệnh phải idempotent. Chạy từ ops01 (VM290, bài 07) hoặc máy quản trị bất kỳ có SSH tới node.

Tệp pve-notify-apply.sh — "upsert" target và matcher (có rồi thì set, chưa có thì create); bí mật truyền bằng biến môi trường:

#!/usr/bin/env bash
# pve-notify-apply — cấu hình thông báo cấp cluster, chạy lại nhiều lần cho cùng kết quả
set -euo pipefail
: "${SMTP_PASS:?cần SMTP_PASS}"
SMTP_SERVER=${SMTP_SERVER:-mailu.hoatranlabs.local}; SMTP_USER=${SMTP_USER:[email protected]}
SMTP_TO=${SMTP_TO:[email protected]}; CLUSTER_NAME=${CLUSTER_NAME:-HOATRANHUB}
b64() { printf '%s' "$1" | base64 -w0; }
upsert() {   # upsert <loại> <tên> <tham số...>
  local kind=$1 name=$2; shift 2
  if pvesh get "/cluster/notifications/$kind/$name" >/dev/null 2>&1; then
    pvesh set "/cluster/notifications/$kind/$name" "$@" >/dev/null
  else
    pvesh create "/cluster/notifications/$kind" --name "$name" "$@" >/dev/null
  fi
  echo "ok: $kind/$name"
}
upsert endpoints/smtp mailu-pve --server "$SMTP_SERVER" --port 587 --mode starttls \
  --username "$SMTP_USER" --password "$SMTP_PASS" --from-address "$SMTP_USER" \
  --author "PVE $CLUSTER_NAME" --mailto "$SMTP_TO"
[ -n "${GOTIFY_TOKEN:-}" ] && upsert endpoints/gotify gotify-ops \
  --server "${GOTIFY_URL:-http://10.11.45.36:3002}" --token "$GOTIFY_TOKEN"
[ -n "${MM_HOOK_ID:-}" ] && upsert endpoints/webhook mattermost-alerts --method post \
  --url 'https://mattermost.hoatranlabs.local/hooks/{{ secrets.hook }}' \
  --header "name=Content-Type,value=$(b64 application/json)" --secret "name=hook,value=$(b64 "$MM_HOOK_ID")" \
  --body "$(b64 '{"username":"Proxmox VE","text":"**[{{ severity }}]** {{ escape title }}\n{{ escape message }}"}')"
pvesh set /cluster/notifications/matchers/default-matcher --target mailu-pve >/dev/null && echo "ok: default-matcher"
if [ -n "${GOTIFY_TOKEN:-}" ] && [ -n "${MM_HOOK_ID:-}" ]; then
  upsert matchers m-push-error --match-severity error --target gotify-ops --target mattermost-alerts
  upsert matchers m-push-system-mail --match-field exact:type=system-mail --target mattermost-alerts
fi
pvesh set /cluster/options --notify package-updates=always
for id in $(pvesh get /cluster/backup --output-format json | jq -r '.[].id'); do
  pvesh set "/cluster/backup/$id" --notification-mode notification-system
done

Playbook (inventory: nhóm pve_leaders gồm đúng một node mỗi cluster; nhóm pve_all gồm mọi node):

# site-notify.yml
- name: Thông báo cấp cluster (1 node mỗi cluster)
  hosts: pve_leaders
  become: true
  vars_files: [vault.yml]            # smtp_pass, gotify_token, mm_hook_id (ansible-vault encrypt vault.yml)
  tasks:
    - ansible.builtin.copy: {src: pve-notify-apply.sh, dest: /usr/local/sbin/pve-notify-apply, mode: "0750"}
    - ansible.builtin.package: {name: [jq, bsd-mailx], state: present}
    - name: Áp dụng target và matcher
      ansible.builtin.command: /usr/local/sbin/pve-notify-apply
      environment:
        SMTP_PASS: "{{ smtp_pass }}"
        GOTIFY_TOKEN: "{{ gotify_token | default('') }}"
        MM_HOOK_ID: "{{ mm_hook_id | default('') }}"
        CLUSTER_NAME: "{{ cluster_name }}"
      no_log: true
      changed_when: true

- name: Cấu hình cấp node (smartd, CA, smartctl_exporter)
  hosts: pve_all
  become: true
  serial: 10                          # cuốn chiếu 10 node mỗi lượt
  tasks:
    - ansible.builtin.copy: {src: hoatranlabs-root.crt, dest: /usr/local/share/ca-certificates/hoatranlabs-root.crt, mode: "0644"}
      notify: update-ca
    - ansible.builtin.template: {src: smartd.conf.j2, dest: /etc/smartd.conf, backup: true}
      notify: restart-smartd
  handlers:
    - {name: update-ca, ansible.builtin.command: update-ca-certificates}
    - {name: restart-smartd, ansible.builtin.service: {name: smartmontools, state: restarted}}

smartd.conf.j2 sinh dòng theo ổ thật trên từng node (long_test_day là biến host, node1 = 1, node2 = 2…):

{% for name, d in ansible_devices.items() | sort if name is match('^sd[a-z]+$') and d.removable == '0' %}
/dev/{{ name }} -d auto -a -o on -S on -n standby,q -s (S/../.././05|L/../{{ '%02d' % long_test_day }}/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
{% endfor %}
{% for name, d in ansible_devices.items() | sort if name is match('^nvme[0-9]+n1$') %}
/dev/{{ name[:-2] }} -d nvme -H -l error -W 0,70,80 -m root -M exec /usr/share/smartmontools/smartd-runner
{% endfor %}
DEVICESCAN -d removable -a -n standby,q -m root -M exec /usr/share/smartmontools/smartd-runner

Template tương tự cho /etc/nut/upsmon.conf của node secondary (biến ups_name, nut_host theo rack) và đơn vị smartctl_exporter. Không dùng ansible_devices cho ổ sau RAID cứng: khai báo thủ công -d megaraid,N trong biến host.

Qua API, không SSH (hợp cho hàng trăm cluster, gọi từ ops01): token svc-automation@pve!ansible (bài 08) cần quyền Mapping.Modify tại /mapping/notifications (cấu hình thông báo) và Sys.Modify tại / (tuỳ chọn cluster):

curl --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
  -H "Authorization: PVEAPIToken=svc-automation@pve!ansible=${PVE_TOKEN_SECRET}" \
  https://node1.hoatranlabs.local:8006/api2/json/cluster/notifications/targets

Với PDM (bài 04) quản lý tập trung nhiều cluster, thông báo vẫn cấu hình trong từng cluster; phần PDM có hệ thống thông báo riêng hay không cần kiểm lại theo bản PDM đang chạy.

10

Troubleshooting

Triệu chứngNguyên nhânCách xử lý
Test SMTP báo lỗi chứng chỉ (certificate verify failed)Node chưa tin cậy root CA step-CA, hoặc tên Server không có trong SANupdate-ca-certificates (mục 2.4); dùng đúng FQDN mailu.hoatranlabs.local; kiểm openssl s_client -starttls smtp ... -CAfile
Test báo 535 / authentication failedSai user hoặc mật khẩu; Mailu giới hạn tốc độ đăng nhậpKiểm hộp thư ở Mailu Admin; From phải trùng tài khoản xác thực; xem AUTH_RATELIMIT_* ở bài 16
Test OK nhưng sự kiện thật không có thưTarget không nằm trong matcher, matcher bị disable, hoặc quy tắc saipvesh get /cluster/notifications/matchers; matcher không quy tắc thì luôn khớp
Backup xong vẫn gửi thư kiểu cũ hoặc không gửiJob ở notification-mode auto và còn mailtoĐặt notification-system, xoá mailto (mục 4.1)
Không bao giờ nhận thông báo cập nhật góinotify package-updates=auto chỉ cho node có subscriptionpvesh set /cluster/options --notify package-updates=always (mục 4.3)
Thư SMART/Ceph/NUT không tớiChuỗi root → .forward → proxmox-mail-forward hỏng; thiếu lệnh mailcat /root/.forward; grep ^root: /etc/aliases; mailq; journalctl -t proxmox-mail-forward
Thư system-mail tới nhưng matcher match-severity không bắtMức unknownDùng match-field exact:type=system-mail
Mailu bảo trì, thư biến mấtTarget smtp không có hàng đợiDùng phương án C (mục 2.3) hoặc kênh thứ hai Gotify/Mattermost
ceph alerts send không ra thưModule chưa bật; Postfix loopback không nhận; smtp_destination saiceph mgr module ls; ceph config dump (lọc dòng alerts); journalctl -u ceph-mgr@$(hostname -s); thử gửi echo test bằng mail -s t root
smartd không theo dõi ổ, log "SMART support is: Unavailable"Ổ ảo (lab) hoặc ổ sau RAIDMáy thật: -d megaraid,N/-d sat; lab: bỏ qua, chỉ thử đường thư (mục 6.4)
smartd không khởi động sau khi sửa /etc/smartd.confSai cú pháp, -s không đủ 12 ký tựsmartd -q showtests -c /etc/smartd.conf hiện dòng lỗi; khôi phục từ bản .bak
upsc báo Connection refusedupsd chỉ nghe 127.0.0.1 hoặc firewallss -ltnp (dòng cổng 3493); LISTEN 10.11.45.210 3493, systemctl restart nut-server; rule NUT trong host.fw của node1 còn tắt (dòng đang bắt đầu bằng ký tự gạch đứng; mục 7.2, bài 05 mục 5.1)
upsc báo Data stale / driver not connectedDriver không đọc được UPSsystemctl status 'nut-driver@ups01'; thử upsdrvctl start; SNMP: sai secName/mật khẩu hoặc NMC chưa bật SNMPv3
Secondary: Login failed / Access deniedMật khẩu upsmon-secondary khác upsd.usersSửa cho khớp, systemctl restart nut-server nut-monitor
Sự kiện UPS có log nhưng không có thư/cắt tảiThiếu /run/nut/upssched, sudoers sai, NOTIFYCMD sails -ld /run/nut/upssched; sudo -u nut sudo -n /usr/local/sbin/pve-ups restore; journalctl -t upssched-cmd
Sau bật lại, VM HA không tự chạyTrạng thái HA là stopped (đúng với docs PVE) và pve-ups-recover chưa/không chạyjournalctl -u pve-ups-recover -b; ha-manager set vm:<id> --state started
HEALTH_WARN noout flag(s) set kéo dàiQuên bỏ cờ sau bảo trì/tắt cụmKhi mọi OSD up: ceph osd unset noout
OSD đầy (OSD_FULL), VM treo ghiCeph chặn ghi ở 95%Khẩn cấp: ceph osd set-full-ratio 0.97 tạm thời để mở ghi, giải phóng dung lượng/thêm OSD ngay, rồi đặt lại 0.95 (bài 11)
11

Checklist nghiệm thu

Thông báo PVE

  • Hộp thư [email protected] tồn tại (bài 16 mục 6) hoặc đã chọn relay ngoài; root CA được tin cậy trên cả 4 node
  • Target mailu-pve tạo xong, nút Test gửi được thư tới [email protected]; default-matcher trỏ tới mailu-pve
  • Target gotify-ops, mattermost-alerts (nếu đã có bài 15/37) Test thành công; matcher m-push-error, m-push-system-mail tồn tại
  • Mọi backup job đặt notification-mode notification-system; chạy thử một job có thư type=vzdump
  • notify package-updates=always đã đặt; echo test | mail -s test root đi tới email và Mattermost qua system-mail

Ceph và SMART

  • Biết ngưỡng ceph osd dump | grep ratio (0.85 / 0.90 / 0.95) và mức dùng mỗi OSD thấp hơn giới hạn N−1 (mục 5.1)
  • Module alerts bật, ceph alerts send ra thư; dòng flags của ceph osd dump không còn noout ngoài lúc bảo trì
  • /etc/smartd.conf chuẩn hoá trên mọi node, smartd -q showtests liệt kê lịch test; thư thử SMART tới email (máy thật: -M test; lab ảo: thư giả lập)

UPS / NUT

  • upsc [email protected] trả ups.status, battery.charge, battery.runtime; node2–4 thấy cùng UPS
  • upsd chỉ nghe loopback và 10.11.45.210; rule NUT của bài 05 (mục 5.1) đã bật, chỉ ipset-pve-nodes, prometheus (và NAS/PBS vật lý nếu là client) vào cổng 3493; mật khẩu NUT/SNMP riêng, lưu trong Vaultwarden, không nằm trong Git
  • pve-ups, upssched, pve-ups-secondary, pve-ups-recover.service đã cài; cờ dry-run đã gỡ sau khi thử; guest không thiết yếu có tag ups-shed; startall-onboot-delay đã đặt
  • Đã thử mức 1 (mô phỏng) và mức 2 (chạy khô); mức 3 làm ở staging và ghi lại thời gian tắt thật
  • BIOS "Restore on AC Power Loss" = Power On; thời gian chạy pin ≥ 25 phút ở tải thực tế

Prometheus / Alertmanager và quy mô

  • Targets pve, pve-per-node, nut, ceph, smartctl đều UP; promtool check rules sạch; thử UpsOnBattery bằng dummy-ups ra thư/tin Mattermost
  • Cấu hình thông báo, smartd.conf, upsmon.conf sinh từ Ansible (Git + Vault) và chạy lại không đổi gì (idempotent)
12

Tài liệu tham khảo

Proxmox VE

Ceph (Tentacle)

SMART

NUT

Exporter và cảnh báo

SMTP ngoài miễn phí

Bài liên quan trong bộ bài

  • Bài 03 (Cluster + Ceph + HA), bài 04 (PBS, PDM), bài 05 (Firewall), bài 06 (Cập nhật cuốn chiếu), bài 07 (ops01), bài 08 (RBAC, token), bài 09 (ACME, root CA), bài 11 (Runbook sự cố), bài 13 (step-CA), bài 15 (Prometheus, Gotify, Bước 11), bài 16 (Mailu, mục 6 và 8.5), bài 37 (Mattermost).
Zalo