Thông báo & Giám sát SMTP · Ceph · SMART · UPS
Notification targets/matchers qua SMTP, cảnh báo Ceph và SMART, NUT UPS tắt máy an toàn.
Bối cảnh & Lý do triển khai
Proxmox VE tự phát hiện rất nhiều sự cố: backup lỗi, replication lỗi, node bị fence, ổ đĩa báo SMART, Ceph chuyển HEALTH_WARN, điện lưới mất. Nhưng nếu không ai nhận được tin thì sự cố chỉ bị phát hiện khi người dùng báo, lúc đó thường đã muộn: Ceph đầy 95% thì chặn ghi, ổ thứ hai hỏng khi ổ đầu chưa kịp thay, UPS cạn pin khi chưa ai tắt máy. Bài này dựng một "đường ống cảnh báo" hoàn chỉnh cho cụm HOATRANHUB: hệ thống thông báo tích hợp của PVE 9 (target SMTP, Gotify, Webhook và matcher), cảnh báo sức khoẻ Ceph, giám sát SMART của ổ đĩa, và UPS với NUT để tắt cả cụm có thứ tự khi mất điện.
QEMU HARDDISK, bài 02/03) và chưa có UPS vật lý đi kèm tài liệu, nên SMART thật và pin UPS thật cần kiểm lại trên máy thật; bài cung cấp cách mô phỏng (dummy-ups, smartd -M test, DRY_RUN) để kiểm tra đường đi của cảnh báo mà không cắt điện hay làm hỏng đĩa. (2) Các script tắt cluster ở mục 7 chỉ được viết theo tài liệu; thử trong cửa sổ bảo trì hoặc trên cluster staging trước khi tin cậy. (3) Phần lõi (mục 1–6) chạy độc lập chỉ với bài 01–04; Mailu (bài 16), Gotify và Prometheus (bài 15), Mattermost (bài 37) là phần tích hợp, làm sau khi các bài đó xong.
| Mục | Nội dung |
|---|---|
| Ứng dụng trong DN | Nhận cảnh báo backup/replication/fencing/cập nhật gói qua email và đẩy tin tức thời (Gotify, Mattermost); theo dõi sức khoẻ Ceph và ổ đĩa; tắt cụm có thứ tự khi mất điện kéo dài; chuẩn hoá cấu hình cho 1 node đến hàng trăm node bằng Ansible/API |
| Tác dụng chính | Target SMTP/Gotify/Webhook + matcher theo severity/loại sự kiện/hostname; cảnh báo Ceph (ngưỡng nearfull/backfillfull/full, ceph health detail, module alerts); smartd tuỳ chỉnh (SATA/SAS/NVMe, self-test định kỳ); NUT upsmon primary trên node1 và secondary trên node2–4; exporter + rule cho Prometheus/Alertmanager |
| Nếu không triển khai | Backup lỗi nhiều đêm mà không ai biết; Ceph đầy làm VM treo I/O; ổ hỏng âm thầm; mất điện đột ngột gây hỏng dữ liệu VM/Ceph và mất quorum không có quy trình tắt/bật lại |
| Các service phụ thuộc vào đây | Bài 06 (thông báo trước/sau cập nhật cuốn chiếu), bài 11 (runbook sự cố dựa vào các cảnh báo này), bài 15 (Prometheus/Alertmanager đọc pve-exporter, nut_exporter, Ceph mgr), bài 16 (Mailu nhận thư), bài 37 (Mattermost kênh #alerts) |
Phiên bản: 1.0 | Ngày cập nhật: 2026-10-15
Cluster: HOATRANHUB (PVE 9.2.20, Ceph Tentacle 20.2.4) | Tác giả: HoatranLabs
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
| ups01 (UPS có SNMP/NMC + NUT) | 10.11.45.19 | 45 (MGMT) · thiết bị | Máy chủ của bài — UPS có thẻ mạng NMC (SNMP); node1 đọc bằng snmp-ups để cảnh báo mất điện, cắt tải và tắt cụm có thứ tự khi pin yếu. |
| node1 (Proxmox VE) | 10.11.45.210 | 45 (MGMT) · cluster HOATRANHUB | NUT primary: upsd nghe 10.11.45.210:3493, chạy pve-ups điều phối tắt cụm; cấu hình thông báo cluster; Ceph mgr active (alerts, prometheus :9283). |
| node2 (Proxmox VE) | 10.11.45.211 | 45 (MGMT) · cluster HOATRANHUB | Node PVE: upsmon secondary (tắt trễ dự phòng), smartd chuẩn hoá, smartctl_exporter :9633; mgr Ceph standby (:9283). |
| node3 (Proxmox VE) | 10.11.45.212 | 45 (MGMT) · cluster HOATRANHUB | Node PVE: upsmon secondary, smartd chuẩn hoá, smartctl_exporter :9633; gửi thông báo SMTP qua Mailu bằng target mailu-pve. |
| node4 (Proxmox VE) | 10.11.45.213 | 45 (MGMT) · cluster HOATRANHUB | Node PVE chứa pbs01 và pdm01: upsmon secondary, smartd, smartctl_exporter; các VM này được dừng trước khi tắt node. |
| mailu (Mailu Mail Server) · VM246 | 10.11.35.46 | 35 (DMZ) · node2 | Relay SMTP 587 STARTTLS cho target mailu-pve: hộp thư [email protected] (bài 16 mục 6 và 8.5); node tin cậy root CA step-CA. |
| prometheus (Prometheus + Alertmanager) · VM235 | 10.11.45.35 | 45 (MGMT) · node2 | Scrape pve-exporter, nut_exporter, Ceph mgr :9283, smartctl_exporter :9633; rule ceph.yml, smart.yml, ups.yml; Alertmanager gửi email/Mattermost (bài 15). |
| grafana (Grafana + Uptime Kuma + Gotify) · VM236 | 10.11.45.36 | 45 (MGMT) · node2 | Gotify :3002 nhận push từ target gotify-ops (app token proxmox) và từ cầu nối Alertmanager (bài 15). |
| mattermost (Mattermost) · VM272 | 10.11.65.57 | 65 (SRV) · node1 | Incoming webhook kênh #alerts nhận thông báo từ target mattermost-alerts của PVE và route Alertmanager (bài 37). |
| ops01 (Ansible/OpenTofu + bastion) · VM290 | 10.11.45.20 | 45 (MGMT) · node2 | Máy điều khiển: chạy Ansible/playbook thông báo, smartd, NUT và gọi API PVE bằng token svc-automation@pve!ansible (bài 07, 08). |
| step-ca (step-CA PKI) · VM242 | 10.11.25.42 | 25 (SEC) · node1 | Cấp chứng chỉ cho Mailu và Mattermost; root CA phải được tin cậy trên mọi node để SMTP/Webhook xác thực TLS (bài 13). |
| pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | VM101 trên node4, có hệ thống thông báo riêng tới Mailu (bài 16 mục 8.4); được dừng trước khi tắt cụm khi mất điện. |
| FortiGate (firewall) | 10.100.100.1 | Quản trị 10.100.100.0/24 · thiết bị mạng | Cho node VLAN 45 đi tới Mailu cổng 587 ở VLAN 35 (bài 16 mục 9.1); lưu lượng NUT và exporter cùng VLAN 45 không qua firewall này. |
| syno-primary (Synology NAS) | 10.11.45.16 | 45 (MGMT) · NAS | NAS chứa datastore PBS: phải tắt sau pbs01; cấu hình UPS riêng của DSM, có thể làm client NUT (cần kiểm lại trên máy thật). |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Máy site phụ (node5, node6, pbsdr01) có UPS và NUT riêng nên không liệt kê; hộp thư nhận thư là địa chỉ email, không phải máy chủ.
Tổng quan
Phiên bản phần mềm sử dụng · Quy mô triển khai · Công cụ & chi phí
Có hai luồng cảnh báo và bài này dựng cả hai, vì chúng bổ sung cho nhau:
NGUỒN SỰ KIỆN HỆ THỐNG THÔNG BÁO PVE KÊNH NHẬN
───────────── ─────────────────────── ─────────
vzdump (backup) ─┐ ┌─ target SMTP mailu-pve ──▶ Mailu :587 (bài 16) / relay ngoài
replication ─┤ type = vzdump / replication / fencing / ├─ target Gotify gotify-ops ─▶ điện thoại (bài 15)
HA fencing ─┼─▶ package-updates / system-mail ──▶ MATCHERS ───▶ └─ target Webhook mattermost-alerts ▶ #alerts (bài 37)
apt (gói mới) ─┘ (severity,
smartd, cron, `ceph alerts`, NUT ─ mail root ─▶ proxmox-mail-forward field, mode)
─▶ type = system-mail ┘
LUỒNG QUAN SÁT (làm sau bài 15):
pve-exporter · Ceph mgr :9283 · smartctl_exporter · nut_exporter ─▶ Prometheus ─▶ Alertmanager ─▶ Mailu · Mattermost · Gotify
- Luồng 1 — thông báo của PVE (lõi, mục 1–6): PVE tự gửi sự kiện của chính nó; smartd, Ceph (module
alerts) và NUT đi vào cùng đường bằng thư gửiroot(PVE chuyển thành sự kiệnsystem-mail). Không cần server giám sát nào, chạy được từ 1 node. - Luồng 2 — Prometheus/Alertmanager (tích hợp, mục 8): theo dõi xu hướng và ngưỡng sớm (ví dụ OSD dùng quá 60%), tập trung nhiều cluster. Không thay thế luồng 1: nếu VM Prometheus chết cùng sự cố thì luồng 1 vẫn còn.
| Thông số | Giá trị |
|---|---|
| Phiên bản PVE | 9.2.20 (Debian 13) |
| Cluster | HOATRANHUB (4 node) |
| Repo | pve-no-subscription |
| Kênh thông báo | SMTP · Gotify · Webhook |
| SMTP (Mailu) | mailu-pve · 587 STARTTLS |
| Ceph | Tentacle 20.2.4 |
| UPS | ups01 10.11.45.19 (NUT) |
| Điều kiện tiên quyết | Bài 01–04 |
| Thời gian thực hiện | 3–4 giờ |
Phiên bản phần mềm sử dụng
Đã xác minh ngày 2026-10-15 theo trang gói của Debian, PyPI và trang phát hành của từng dự án. Số bản sẽ tăng theo thời gian; bài ghim các bản này để lệnh khớp nhau.
| Thành phần | Phiên bản | Ghi chú |
|---|---|---|
| Proxmox VE | 9.2.20 (Debian 13 "trixie") | Hệ thống thông báo proxmox-notify đi kèm pve-manager, có target Sendmail, SMTP, Gotify, Webhook. Lệnh trong bài đối chiếu với API Viewer của PVE 9 |
| Ceph | Tentacle 20.2.4 (20.2.4-pve4, bài 03) | Module mgr alerts, prometheus; lệnh theo docs.ceph.com/en/tentacle |
| smartmontools | 7.4-3 (gói Debian 13) | smartd, smartctl; trên PVE smartd chạy sẵn (docs PVE, "Disk Health Monitoring") |
| NUT (Network UPS Tools) | 2.8.1-5 (gói nut-server, nut-client, nut-snmp của Debian 13) | Dùng từ khoá primary/secondary (tương đương master/slave cũ). Trang man trên networkupstools.org là bản mới hơn 2.8.1, vài chi tiết có thể khác (đã ghi chú tại chỗ) |
| prometheus-pve-exporter | 3.10.1 (PyPI, yêu cầu Python 3.11 trở lên) | Chạy dạng container ở bài 15 Bước 11 (prompve/prometheus-pve-exporter:3.10.1) |
| nut_exporter (DRuggeri) | 3.3.0 | Container ở bài 15 Bước 11 (druggeri/nut_exporter:3.3.0), cổng 9199 |
| smartctl_exporter | 0.15.0 (prometheus-community) | Cài bằng binary + systemd trên từng node, cổng 9633 (mục 8.3) |
| node_exporter | 1.12.1 | Giá trị dùng chung của bộ bài (cổng 9100) |
| Mailu | 2024.06 (bài 16) | Hộp thư gửi cảnh báo Proxmox: [email protected] |
| Ubuntu Server (VM ops01, VM235, VM236) | 24.04.5 LTS | Chỉ dùng cho máy điều khiển Ansible và máy chạy Prometheus; node PVE là Debian 13 |
| Gói bổ trợ trên node | jq, bsd-mailx, sudo (apt, Debian 13) | mail để gửi thư tới root, jq để xử lý JSON của pvesh, sudo cho upssched (mục 7.6) |
Quy mô triển khai
Cấu hình thông báo nằm trong /etc/pve nên chia sẻ trong phạm vi một cluster; mỗi cluster độc lập có bộ target/matcher riêng. Giới hạn số node: tài liệu pvecm ghi không có giới hạn cứng, nêu có báo cáo cluster trên 50 node (năm 2021, phần cứng cao cấp); con số "~30 node mỗi cluster" dưới đây là khuyến nghị của bộ bài, không phải giới hạn của Proxmox.
| Quy mô | Thông báo | Ceph | SMART | UPS (NUT) |
|---|---|---|---|---|
| 1 node | 1 target SMTP (relay ngoài hoặc Mailu), default-matcher | Không có Ceph | smartd chuẩn hoá (mục 6) | MODE=standalone, UPS nối USB (usbhid-ups) hoặc SNMP; node tự tắt khi UPS báo pin yếu |
| 2–3 node (+ QDevice) | Như trên, thêm Gotify cho push | Có thể có Ceph 3 node (mục 5) | Như trên, mỗi node một cấu hình | Một node netserver; QDevice (Raspberry Pi/mini PC ngoài cluster) là chỗ tốt đặt upsd để không phụ thuộc node nào |
| 4–~30 node (HOATRANHUB là ví dụ) | Target + matcher + webhook, Prometheus tập trung | Alerts + Prometheus | Ansible đẩy smartd.conf theo lớp phần cứng | Một upsd mỗi UPS; secondary trên các node cùng UPS; tắt có thứ tự bằng script (mục 7) |
| >~30 node | Chia nhiều cluster, mỗi cluster cùng một bộ cấu hình sinh bằng Ansible/API (mục 9); dùng author và comment để phân biệt cluster trong thư; quản lý tập trung bằng Proxmox Datacenter Manager (bài 04) | Alertmanager tập trung nhiều cluster | Ansible template | Mỗi rack/UPS một upsd riêng, không dùng một NUT server cho cả trung tâm dữ liệu |
Công cụ & chi phí
Toàn bộ miễn phí: thông báo PVE, NUT, smartmontools, Postfix có sẵn trên PVE; Gotify/Mattermost/Mailu chạy trong lab; relay ngoài có gói miễn phí (mục 2.2). Không cần subscription cho bất kỳ tính năng nào trong bài; popup "No valid subscription" chỉ là thông báo. Chi phí thật duy nhất là phần cứng: UPS (nên có thẻ mạng NMC/SNMP để đọc từ xa) và ổ đĩa thay thế. Chỉ cân nhắc trả phí khi cần SLA hỗ trợ chính thức cho UPS hoặc dịch vụ email giao nhận (transactional email) vượt gói miễn phí.
Điều kiện tiên quyết và phần tích hợp làm sau
| Phần | Cần có trước | Nếu chưa có |
|---|---|---|
| Lõi (mục 1–6) | Bài 01–04: cluster HOATRANHUB chạy, Ceph HEALTH_OK, quyền root trên node | Không có |
| SMTP qua Mailu (mục 2.1, 3.1) | Bài 16 (hộp thư pve-alerts@), root CA step-CA (bài 09/13) trên node, Pi-hole (bài 12) phân giải mailu.hoatranlabs.local | Dùng relay ngoài (mục 2.2) với cùng tên target mailu-pve, sau đó đổi sang Mailu bằng pvesh set |
| Gotify (mục 3.4) | Bài 15 Bước 4 và 8 (Gotify :3002, app token) | Bỏ qua, chỉ dùng email |
| Webhook Mattermost (mục 3.5) | Bài 37 (incoming webhook #alerts) | Bỏ qua |
| Prometheus/Alertmanager (mục 8) | Bài 15 (kể cả Bước 11), bài 08 (token svc-monitoring@pve!prometheus), bài 37 cho route Mattermost | Bỏ qua; luồng 1 vẫn đủ dùng |
| Firewall node (mục 7.2, 8) | Bài 05: rule NUT 3493 trong host.fw của node1 và nhóm sg-pve-integr đã soạn sẵn ở dạng tắt, bài này bật chúng | Chưa bật PVE Firewall thì không phải mở cổng; bật firewall theo bài 05, không tự sửa lẻ |
Kiến trúc hệ thống thông báo của PVE 9
Mô hình: sự kiện → matcher → target · Các loại sự kiện · Tệp cấu hình và quyền truy cập
1.1 Mô hình: sự kiện → matcher → target
PVE (từ 8.1) dùng một hệ thống thông báo thống nhất. Mỗi sự kiện sinh ra một thông báo mang title, message, severity (info, notice, warning, error, unknown) và các trường metadata (type, hostname, job-id). Matcher quyết định thông báo nào đi tới target nào; một thông báo chỉ gửi tối đa một lần tới mỗi target, kể cả khi nhiều matcher cùng trỏ vào target đó.
| Khái niệm | Vai trò | Loại có sẵn |
|---|---|---|
| Target (endpoint) | Nơi nhận: kênh gửi tới | sendmail (dùng Postfix cục bộ), smtp (gửi thẳng tới relay), gotify, webhook |
| Matcher | Bộ lọc: match-severity, match-field (exact:/regex:), match-calendar, mode all/any, invert-match | Một matcher không có quy tắc nào thì luôn khớp |
smtp gửi thẳng, không có hàng đợi và không thử lại khi lỗi (theo docs PVE): nếu Mailu đang bảo trì lúc backup lỗi, thư mất. Vì vậy nên có thêm một kênh thứ hai (Gotify/Mattermost) cho sự kiện error, hoặc dùng target sendmail + Postfix smarthost có hàng đợi (mục 2.3).
1.2 Các loại sự kiện
Theo docs PVE (chương Notifications):
| Sự kiện | type | Severity | Trường metadata (ngoài type) |
|---|---|---|---|
| Có bản cập nhật gói | package-updates | info | hostname |
| Node bị fence | fencing | error | hostname |
| Replication lỗi | replication | error | hostname, job-id |
| Backup thành công | vzdump | info | hostname, job-id (chỉ job theo lịch) |
| Backup lỗi | vzdump | error | hostname, job-id (chỉ job theo lịch) |
Thư gửi root (smartd, cron, Ceph alerts, NUT...) | system-mail | unknown | hostname |
hostname là tên không có domain (ví dụ node1). job-id chỉ có với job chạy theo lịch, không có khi bấm "Run now". Mail system-mail có severity unknown nên match-severity không bắt được; lọc chúng bằng match-field exact:type=system-mail.
Xem danh sách trường và giá trị mà matcher dùng được ngay trên cluster:
pvesh get /cluster/notifications/matcher-fields
pvesh get /cluster/notifications/matcher-field-values
1.3 Tệp cấu hình và quyền truy cập
| Tệp | Nội dung | Ghi chú |
|---|---|---|
/etc/pve/notifications.cfg | Target và matcher (không có bí mật) | Nằm trong pmxcfs: đồng bộ cả cluster, sửa trên một node là đủ |
/etc/pve/priv/notifications.cfg | Mật khẩu SMTP, token Gotify, secret webhook | Chỉ root đọc được; không đưa vào Git/Ansible dạng rõ (dùng Ansible Vault) |
/usr/share/pve-manager/templates/default/ | Mẫu nội dung thư mặc định | Ghi đè bằng /etc/pve/notification-templates/default/ với tên <type>-body.html.hbs, <type>-subject.txt.hbs... |
Quyền: xem/sửa target cần Mapping.Audit/Mapping.Modify trên /mapping/notifications; bấm Test cần Mapping.Use, Mapping.Audit hoặc Mapping.Modify trên cùng đường dẫn. Tài khoản tự động hoá svc-automation@pve!ansible (bài 08) cần quyền Mapping.Modify tại đó.
1.4 Mặc định sau cài đặt và cơ chế system-mail
Cài mới, PVE có sẵn một target sendmail tên mail-to-root (gửi tới địa chỉ email của root@pam) và matcher default-matcher đưa mọi thông báo tới target đó. Tên các đối tượng mặc định theo diễn đàn Proxmox và API (trường origin = builtin), cần kiểm lại trên máy thật:
pvesh get /cluster/notifications/targets
pvesh get /cluster/notifications/matchers
cat /etc/pve/notifications.cfg
Cơ chế chuyển thư: thư gửi cho root đi vào Postfix cục bộ; PVE cài proxmox-mail-forward (phụ thuộc bắt buộc của pve-manager) để chuyển thư đó thành sự kiện system-mail. Theo diễn đàn Proxmox, việc chuyển được thiết lập bằng /root/.forward chứa dòng |/usr/bin/proxmox-mail-forward; /etc/aliases mà đổi root: sang nơi khác sẽ làm hỏng chuỗi này. Với target sendmail, nội dung và header thư gốc được giữ nguyên; với các target khác PVE tách chủ đề và nội dung văn bản.
cat /root/.forward # mong đợi: |/usr/bin/proxmox-mail-forward
command -v mail || apt install -y bsd-mailx jq
echo "thử system-mail từ $(hostname -s)" | mail -s "[TEST] system-mail" root
journalctl -t proxmox-mail-forward -n 5 --no-pager
Chuẩn bị đường gửi thư (SMTP)
Phương án A: Mailu (bài 16) · Phương án B: relay ngoài miễn phí · Phương án C: Postfix smarthost + target sendmail (có hàng đợi)
Chọn một trong ba phương án. Cả ba cùng tạo target tên mailu-pve để các matcher ở mục 3 không phải đổi khi chuyển phương án.
| Phương án | Khi nào dùng | Ưu / nhược |
|---|---|---|
| A. Mailu (bài 16) | Đã có VM246 Mailu; chuẩn của lab | Tự quản, không giới hạn; phụ thuộc Mailu sống |
| B. Relay ngoài miễn phí | Chưa có Mailu, hoặc cần kênh độc lập với hạ tầng | Không cần dựng gì; có giới hạn lượng thư, dữ liệu qua bên thứ ba |
C. Postfix smarthost + sendmail | Cần hàng đợi/thử lại khi relay lỗi | Bền hơn; thêm một thành phần cấu hình trên mỗi node |
2.1 Phương án A: Mailu (bài 16)
Bài 16 (mục 6) tạo hộp thư dành riêng cho Proxmox và mục 8.5 là nguồn chuẩn cho các giá trị dưới đây:
| Thông số | Giá trị |
|---|---|
| Server | mailu.hoatranlabs.local (10.11.35.46) |
| Mã hoá / cổng | starttls / 587 |
| Tài khoản | [email protected], mật khẩu mẫu của lab PveAlerts@Mailu2024! |
| From | [email protected] (phải trùng tài khoản xác thực) |
| Người nhận | [email protected] |
| Chứng chỉ | Do step-CA cấp; node phải tin cậy root CA (mục 2.4) |
PveAlerts@Mailu2024! là mật khẩu mẫu của lab. Triển khai thật phải đặt mật khẩu mạnh riêng, và khi nhập bằng dòng lệnh dùng read -s như mục 3.1 để không lưu vào lịch sử shell.
Đường mạng: bài 16 mục 9.1 đã cho VLAN 45 (gồm node1–node4) đi tới Mailu cổng 587 trên FortiGate. Kiểm tra từ node1:
getent hosts mailu.hoatranlabs.local # phải ra 10.11.35.46 (Pi-hole bài 12)
timeout 5 bash -c '</dev/tcp/10.11.35.46/587' && echo "587 mở" || echo "587 đóng"
openssl s_client -starttls smtp -connect mailu.hoatranlabs.local:587 \
-CAfile /usr/local/share/ca-certificates/hoatranlabs-root.crt </dev/null 2>/dev/null | grep -E "Verify return code|subject="
# mong đợi (mẫu): Verify return code: 0 (ok)
2.2 Phương án B: relay ngoài miễn phí
| Dịch vụ | Máy chủ / cổng | Xác thực | Giới hạn miễn phí (kiểm lại khi triển khai) |
|---|---|---|---|
| Brevo (SMTP relay) | smtp-relay.brevo.com cổng 587 STARTTLS | Tên đăng nhập = email tài khoản Brevo, mật khẩu = SMTP key tạo ở SMTP & API (không phải mật khẩu tài khoản) | 300 thư/ngày theo trang free-smtp-server của Brevo; nên cấu hình SPF/DKIM cho domain gửi |
| Gmail | smtp.gmail.com cổng 587 STARTTLS | Địa chỉ Gmail + App Password (cần bật xác minh 2 bước) | Khoảng 500 thư/ngày với tài khoản cá nhân, nguồn không thống nhất đếm theo thư hay theo người nhận; đổi mật khẩu tài khoản sẽ vô hiệu App Password |
Đặt thông tin thật vào biến lúc chạy lệnh, không ghi vào tài liệu hay Git:
# Ví dụ Brevo (thay <...> bằng giá trị của bạn)
SMTP_SERVER=smtp-relay.brevo.com; SMTP_USER='<email-dang-nhap-brevo>'; SMTP_FROM='<dia-chi-gui-da-xac-minh>'
read -rsp 'SMTP key (không hiện): ' SMTP_PASS; echo
pve-alerts-team@...) chứ không phải một người.
2.3 Phương án C: Postfix smarthost + target sendmail (có hàng đợi)
Postfix có sẵn trên PVE (pve-manager phụ thuộc postfix | mail-transport-agent). Cho Postfix gửi qua Mailu bằng SASL; hàng đợi postqueue -p sẽ giữ và thử lại thư khi Mailu tạm ngừng. Làm trên mỗi node (bằng Ansible ở mục 9):
apt install -y libsasl2-modules
cp -a /etc/postfix/main.cf /etc/postfix/main.cf.bak-$(date +%F)
read -rsp 'Mật khẩu pve-alerts: ' SMTP_PASS; echo
install -m 600 /dev/null /etc/postfix/sasl_passwd
printf '[mailu.hoatranlabs.local]:587 [email protected]:%s\n' "$SMTP_PASS" > /etc/postfix/sasl_passwd
postmap /etc/postfix/sasl_passwd
postconf -e 'relayhost = [mailu.hoatranlabs.local]:587' \
'smtp_sasl_auth_enable = yes' \
'smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd' \
'smtp_sasl_security_options = noanonymous' \
'smtp_tls_security_level = encrypt' \
'smtp_tls_CAfile = /usr/local/share/ca-certificates/hoatranlabs-root.crt'
systemctl reload postfix
Sau đó tạo target sendmail thay vì smtp (mục 3.1 có lệnh). Lưu ý: Mailu yêu cầu From thuộc hộp thư xác thực nên đặt from-address [email protected] cho target (cần kiểm lại trên máy thật).
2.4 Tin cậy root CA và firewall
Node kiểm tra chứng chỉ TLS của Mailu (cấp bởi step-CA). Target SMTP của PVE không có tuỳ chọn bỏ qua kiểm tra chứng chỉ (xem tham số trong API), nên root CA phải nằm trong kho tin cậy của node. Bài 09 đã phát root CA cho node; nếu chưa:
# trên từng node (hoặc bằng Ansible, mục 9); file root_ca.crt lấy ở bài 13
install -m 644 root_ca.crt /usr/local/share/ca-certificates/hoatranlabs-root.crt
update-ca-certificates
Thư viện TLS mà dịch vụ thông báo của PVE dùng để đọc kho CA hệ thống chưa được xác minh từ tài liệu; nếu Test báo lỗi chứng chỉ dù openssl s_client ở mục 2.1 trả Verify return code: 0, xem Troubleshooting. Nếu đã bật PVE Firewall (bài 05), chỉ cần cho phép đi ra tới Mailu 587 (mặc định chính sách OUT của PVE là ACCEPT).
Tạo target và matcher
Target SMTP mailu-pve · Đưa default-matcher về target mới · Thiết kế matcher cho cụm
3.1 Target SMTP mailu-pve
Giao diện (PVE 9): Datacenter → Notifications → khung Notification Targets → Add ▾ → SMTP.
| Trường | Giá trị |
|---|---|
| Endpoint Name | mailu-pve |
| Server | mailu.hoatranlabs.local |
| Encryption | STARTTLS |
| Port | 587 |
| Authenticate | ☑ — Username [email protected], Password (mẫu lab PveAlerts@Mailu2024!) |
| From Address | [email protected] |
| Additional Recipient(s) | [email protected] |
| Comment | Mailu (bài 16) - cảnh báo cụm HOATRANHUB |
Nhấn Add, chọn dòng mailu-pve rồi bấm Test: hộp thư phải nhận thư thử.
Dòng lệnh (chạy trên một node bất kỳ; tham số mảng như --mailto lặp lại nếu nhiều người nhận):
read -rsp 'Mật khẩu hộp thư pve-alerts (mẫu lab: bài 16 mục 6): ' SMTP_PASS; echo
pvesh create /cluster/notifications/endpoints/smtp \
--name mailu-pve \
--server mailu.hoatranlabs.local --port 587 --mode starttls \
--username [email protected] --password "$SMTP_PASS" \
--from-address [email protected] \
--author 'PVE HOATRANHUB' \
--mailto [email protected] \
--comment 'Mailu (bài 16) - cảnh báo cụm HOATRANHUB'
pvesh get /cluster/notifications/targets
pvesh create /cluster/notifications/targets/mailu-pve/test
--author là tên hiển thị người gửi (mặc định Proxmox VE): đặt tên cluster vào đó để khi quản lý nhiều cluster nhìn tên người gửi biết ngay thư của cluster nào.
Nếu dùng phương án B, đổi --server, --username, --password, --from-address theo nhà cung cấp (tên target vẫn là mailu-pve). Nếu dùng phương án C (Postfix smarthost):
pvesh create /cluster/notifications/endpoints/sendmail \
--name mailu-pve --from-address [email protected] --author 'PVE HOATRANHUB' \
--mailto [email protected]
Kết quả trong cấu hình (mẫu), mật khẩu tách riêng sang tệp chỉ root đọc được:
# /etc/pve/notifications.cfg
smtp: mailu-pve
author PVE HOATRANHUB
comment Mailu (bài 16) - cảnh báo cụm HOATRANHUB
from-address [email protected]
mailto [email protected]
mode starttls
port 587
server mailu.hoatranlabs.local
username [email protected]
# /etc/pve/priv/notifications.cfg
smtp: mailu-pve
password <SMTP_PASS>
3.2 Đưa default-matcher về target mới
Matcher mặc định đang gửi mọi thứ vào mail-to-root (phụ thuộc email của root@pam và Postfix cục bộ). Cách gọn nhất: sửa default-matcher để gửi tới mailu-pve, tức là mọi sự kiện đều có một bản email; các kênh push chỉ cần thêm matcher riêng (mục 3.3). Vì mỗi target chỉ nhận một lần cho mỗi sự kiện nên không bị trùng thư.
pvesh set /cluster/notifications/matchers/default-matcher \
--target mailu-pve --comment 'Mọi thông báo -> email (mailu-pve)'
pvesh get /cluster/notifications/matchers/default-matcher
Tuỳ chọn: tắt target mặc định nếu node không có Postfix gửi ra ngoài được (tránh thư lỗi quay về): pvesh set /cluster/notifications/endpoints/sendmail/mail-to-root --disable 1. Giữ lại mail-to-root cũng không sao nếu default-matcher không còn trỏ vào nó.
3.3 Thiết kế matcher cho cụm
Nguyên tắc: email cho mọi thứ (default-matcher), push cho thứ cần hành động ngay, và tách theo hostname khi nhiều môi trường dùng chung cluster.
| Matcher | Quy tắc | Target | Mục đích |
|---|---|---|---|
default-matcher | (không quy tắc) | mailu-pve | Bản email của mọi sự kiện, làm nhật ký |
m-push-error | match-severity error | gotify-ops, mattermost-alerts | Backup/replication lỗi, node bị fence: cần người xử lý |
m-push-system-mail | match-field exact:type=system-mail | mattermost-alerts | smartd, Ceph alerts, NUT (severity unknown) |
m-prod-nodes | match-field regex:hostname=^node[1-4]$ kèm match-severity error | gotify-ops | Ví dụ lọc theo hostname (mode all) |
m-cluster-events | match-field exact:type=fencing và match-field exact:type=replication, mode any | gotify-ops | Ví dụ mode any: khớp khi một trong các quy tắc đúng |
mode all (mặc định) đòi mọi quy tắc cùng đúng; mode any chỉ cần một. Trong một quy tắc match-field, dấu phẩy là "hoặc": exact:type=replication,fencing khớp cả hai loại. invert-match đảo kết quả của cả matcher (dùng cho ví dụ ngoài giờ trong docs PVE: matcher giờ làm việc match-calendar mon..fri 9-17 và matcher đảo invert-match true), nên không kết hợp được "lỗi và ngoài giờ" trong một matcher duy nhất.
Tạo các matcher (target Gotify và Webhook ở mục 3.4–3.5; nếu chưa có thì tạo matcher sau khi có target, vì --target phải tồn tại):
pvesh create /cluster/notifications/matchers --name m-push-error \
--match-severity error \
--target gotify-ops --target mattermost-alerts \
--comment 'Sự kiện lỗi -> push tức thời'
pvesh create /cluster/notifications/matchers --name m-push-system-mail \
--match-field exact:type=system-mail \
--target mattermost-alerts \
--comment 'smartd / Ceph alerts / NUT (severity unknown)'
pvesh create /cluster/notifications/matchers --name m-cluster-events \
--mode any \
--match-field exact:type=fencing --match-field exact:type=replication \
--target gotify-ops --comment 'Ví dụ mode any'
pvesh get /cluster/notifications/matchers --output-format yaml
Giao diện: Datacenter → Notifications → khung Notification Matchers → Add: tab Matching Rules (Match Severity, Match Field, Match Calendar, Mode, Invert match) và tab Targets to Notify.
3.4 Gotify (tích hợp — làm sau bài 15)
Trong Gotify (http://10.11.45.36:3002, bài 15 Bước 8): Apps → Create Application, tên proxmox, sao chép token. Rồi tạo target:
read -rsp 'Gotify app token (proxmox): ' GOTIFY_TOKEN; echo
pvesh create /cluster/notifications/endpoints/gotify \
--name gotify-ops --server http://10.11.45.36:3002 --token "$GOTIFY_TOKEN" \
--comment 'Gotify (bài 15) - push điện thoại'
pvesh create /cluster/notifications/targets/gotify-ops/test
--server https://....
3.5 Webhook → Mattermost (tích hợp — làm sau bài 37)
Incoming webhook của Mattermost nhận JSON kiểu Slack. URL webhook chứa mã bí mật nên đặt vào secret, và nội dung dùng mẫu Handlebars của PVE (title, message, severity, fields.*; hàm escape để chuỗi an toàn trong JSON). header, secret và body truyền qua API phải mã hoá base64; giao diện tự mã hoá giúp.
MM_HOOK_ID='<id-alerts>' # đuôi URL https://mattermost.hoatranlabs.local/hooks/<id-alerts> (bài 37, mục 3.3)
BODY='{"username":"Proxmox VE","text":"**[{{ severity }}]** {{ escape title }}\n{{ escape message }}"}'
pvesh create /cluster/notifications/endpoints/webhook \
--name mattermost-alerts --method post \
--url 'https://mattermost.hoatranlabs.local/hooks/{{ secrets.hook }}' \
--header "name=Content-Type,value=$(printf 'application/json' | base64 -w0)" \
--secret "name=hook,value=$(printf '%s' "$MM_HOOK_ID" | base64 -w0)" \
--body "$(printf '%s' "$BODY" | base64 -w0)" \
--comment 'Mattermost #alerts (bài 37)'
pvesh create /cluster/notifications/targets/mattermost-alerts/test
Mattermost dùng chứng chỉ step-CA nên node cần tin cậy root CA (mục 2.4). Cùng cách này gắn được ntfy.sh hay Discord (docs PVE có sẵn ví dụ). Một kênh nằm ngoài hạ tầng lab (ntfy.sh, Telegram bot qua webhook) đáng cân nhắc cho UPS, vì khi mất điện kéo dài chính Mailu, Gotify và Mattermost cũng bị tắt.
3.6 Kiểm tra toàn chuỗi
pvesh get /cluster/notifications/targets # tất cả target, cột origin
pvesh create /cluster/notifications/targets/mailu-pve/test
pvesh create /cluster/notifications/targets/gotify-ops/test
pvesh create /cluster/notifications/targets/mattermost-alerts/test
echo "thử system-mail" | mail -s "[TEST] route system-mail" root # đi qua m-push-system-mail
Mong đợi: 1 email ở admin@, 1 tin trong Gotify, 1 tin trong #alerts cho mỗi lần test; thư system-mail cho một bản email (default-matcher) và một tin Mattermost.
Gắn thông báo vào backup, replication, fencing và cập nhật gói
Backup job (vzdump) · Replication và fencing · Thông báo cập nhật gói (package-updates)
4.1 Backup job (vzdump)
Từ PVE 8.1 mỗi backup job có notification-mode: auto (mặc định) gửi email theo trường mailto nếu có đặt, còn không thì dùng hệ thống thông báo; notification-system luôn dùng target/matcher toàn cục; legacy-sendmail gửi thẳng qua sendmail (docs PVE ghi chế độ này có thể bị gỡ ở bản sau). Chuẩn hoá về notification-system để mọi thứ đi qua matcher ở mục 3.
Giao diện: Datacenter → Backup → chọn job → Edit → mục Notification → Notification mode = Use global notification settings (bỏ trống trường email cũ).
# xem trạng thái hiện tại của mọi job
pvesh get /cluster/backup --output-format json \
| jq -r '.[] | [.id, (.["notification-mode"] // "auto"), (.mailto // "-")] | @tsv'
# chuyển tất cả job sang hệ thống thông báo toàn cục
for id in $(pvesh get /cluster/backup --output-format json | jq -r '.[].id'); do
pvesh set "/cluster/backup/$id" --notification-mode notification-system
done
Chạy thử bằng Run now một job nhỏ: sẽ có thông báo type=vzdump mức info (email theo default-matcher). Lưu ý job chạy tay không có job-id. Muốn thử đường error, tạo một VM thử (VMID 9999, không dùng trong sản xuất), khoá nó rồi backup: qm set 9999 --lock backup, chạy job, sau đó qm unlock 9999 (cách gây lỗi này cần kiểm lại trên máy thật).
info mỗi đêm bằng số job: nếu nhiều job, bỏ info khỏi email bằng cách đổi default-matcher thành match-severity warning,error + một matcher riêng cho package-updates.
4.2 Replication và fencing
- Replication (
type=replication, mứcerror): chỉ phát sinh khi có storage replication (ZFS). HOATRANHUB dùng Ceph nên không có; node5/node6 ở site phụ dùng khi nhân bản ZFS. Không cần cấu hình thêm:m-push-errorđã bắt. - Fencing (
type=fencing, mứcerror): sinh ra khi HA Manager fence một node mất liên lạc (cơ chế watchdog, bài 03). Đây là sự kiện quan trọng nhất của cụm; đã nằm trongm-push-errorvàm-cluster-events. Không có cách thử an toàn trên cluster đang chạy: chỉ thử trên cluster staging (ví dụ cô lập mạng corosync của một node) và hiểu rằng VM của node đó sẽ bị khôi phục sang node khác.
4.3 Thông báo cập nhật gói (package-updates)
Mỗi node chạy tác vụ apt update hằng ngày và gửi thông báo khi có gói mới. API ghi tuỳ chọn cũ notify.package-updates đã deprecated nhưng vẫn đọc: giá trị auto (mặc định) chỉ gửi cho node có subscription. Cụm không subscription như lab nên đặt always, nếu không sẽ không bao giờ nhận được thông báo này (hành vi đúng của bản PVE đang chạy cần kiểm lại trên máy thật):
pvesh set /cluster/options --notify package-updates=always
# thử ngay (chạy apt update trên node1 rồi gửi thông báo nếu có gói mới)
pvesh create /nodes/node1/apt/update --notify 1
Mỗi node tự gửi một thông báo riêng nên cluster 4 node nhận 4 thư. Với cluster lớn, giảm tiếng ồn bằng matcher riêng cho exact:type=package-updates trỏ tới một địa chỉ hộp thư nhóm, và bỏ loại này khỏi default-matcher (đổi default-matcher thành match-severity notice,warning,error,unknown). Thông báo cập nhật được dùng làm "tín hiệu bắt đầu" cho quy trình cuốn chiếu ở bài 06.
Cảnh báo Ceph
Ngưỡng dung lượng: nearfull, backfillfull, full · Các health check cần theo dõi · Module mgr alerts: Ceph gửi thư khi trạng thái health đổi
5.1 Ngưỡng dung lượng: nearfull, backfillfull, full
Ceph chặn dần khi OSD đầy. Ba ngưỡng mặc định áp dụng từng OSD (docs Ceph, mon_osd_*_ratio; sau khi cluster được tạo, giá trị nằm trong OSDMap và phải đổi bằng lệnh ceph osd set-*-ratio):
| Ngưỡng | Mặc định | Hậu quả | Health check |
|---|---|---|---|
nearfull | 0.85 | Cảnh báo sớm | OSD_NEARFULL (HEALTH_WARN) |
backfillfull | 0.90 | OSD từ chối nhận dữ liệu backfill (rebalance/recovery kẹt) | OSD_BACKFILLFULL |
full | 0.95 | Chặn ghi của client, VM treo I/O | OSD_FULL (HEALTH_ERR) |
ceph osd dump | grep -E 'full_ratio|backfillfull_ratio|nearfull_ratio'
ceph df detail # RAW theo CLASS (ssd/hdd) và từng pool: STORED, %USED, MAX AVAIL, QUOTA BYTES
ceph osd df tree # % dùng từng OSD theo host và class (cột CLASS, %USE) và độ lệch giữa các OSD (VAR)
# Đổi (hiếm khi cần). Phải giữ nearfull <= backfillfull <= full
ceph osd set-nearfull-ratio 0.85
ceph osd set-backfillfull-ratio 0.90
ceph osd set-full-ratio 0.95
Quy tắc N−1 (ngưỡng cảnh báo sớm hợp lý hơn nearfull): cụm phải chịu được mất một host mà dữ liệu vẫn tự phục hồi được. Khi mất 1 trong N host (mỗi host một OSD, failure domain là host), dữ liệu của host đó dồn về N−1 host còn lại nên mức dùng mỗi OSD nhân với N/(N−1). Để không vượt nearfull, mức dùng trước sự cố phải nhỏ hơn 0.85 × (N−1)/N:
| Số host | Giới hạn mức dùng an toàn | Đặt cảnh báo sớm ở |
|---|---|---|
| 3 | 0.85 × 2/3 ≈ 57% | 50% |
| 4 (HOATRANHUB) | 0.85 × 3/4 ≈ 64% | 60% |
| 8 | 0.85 × 7/8 ≈ 74% | 70% |
Con số này bỏ qua độ lệch giữa các OSD, nên lấy thấp hơn vài phần trăm. Rule Prometheus ở mục 8.4 dùng 60% cho HOATRANHUB. Lab theo kế hoạch dung lượng của bài 07 (mục 8.4; bài 03 dùng đĩa mẫu khác) có hai tầng Ceph, mỗi node một OSD SSD 200 GB (pool vm-ceph) và một OSD HDD 250 GB (pool vm-bulk), cùng size 3: vm-ceph usable ≈ 266 GB, vùng an toàn 60% ≈ 160 GB dữ liệu; vm-bulk usable ≈ 333 GB, vùng an toàn ≈ 200 GB. Mức dùng 60% tương ứng 120 GB mỗi OSD SSD và 150 GB mỗi OSD HDD; quy tắc N−1 ở trên áp dụng riêng cho từng class vì mỗi class có một OSD trên mỗi host.
# ceph df detail (mẫu, rút gọn cột; số của bạn sẽ khác; chưa đặt quota nên QUOTA BYTES là N/A)
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 931 GiB 926 GiB 5.2 GiB 5.2 GiB 0.56
ssd 745 GiB 690 GiB 55 GiB 55 GiB 7.38
TOTAL 1.6 TiB 1.6 TiB 60 GiB 60 GiB 3.59
--- POOLS ---
POOL STORED USED %USED MAX AVAIL QUOTA BYTES
vm-ceph 18 GiB 54 GiB 7.26 218 GiB N/A # SSD, rule-ssd, size 3
vm-bulk 1.7 GiB 5.1 GiB 0.55 293 GiB N/A # HDD, rule-hdd, size 3
Hai tầng đầy độc lập: nearfull tính theo OSD nên SSD có thể cảnh báo khi HDD còn trống (và ngược lại), vì vậy đừng chỉ nhìn dòng TOTAL mà đọc từng dòng CLASS của ceph df detail và cột CLASS/%USE của ceph osd df tree. Quota pool (bài 07 mục 8.7: ví dụ 170 GB cho vm-ceph, 210 GB cho vm-bulk) là chốt chặn cuối chứ không phải cảnh báo sớm (sau khi đặt, cột QUOTA BYTES hiện giá trị): pool chạm quota thì ghi bị chặn (POOL_FULL). Cảnh báo sớm vẫn là rule 60% theo OSD ở mục 8.4, áp dụng cho cả hai class; muốn tách theo class thì nối với ceph_osd_metadata (nhãn device_class).
5.2 Các health check cần theo dõi
ceph health detail cho biết check nào đang bật và OSD/PG nào liên quan. Bảng dưới là các check đáng đặt cảnh báo (theo docs Ceph, "Health checks"):
| Check | Ý nghĩa | Việc đầu tiên |
|---|---|---|
OSD_NEARFULL / OSD_BACKFILLFULL / OSD_FULL | OSD vượt ngưỡng tương ứng | ceph osd df tree; xoá/di dời dữ liệu hoặc thêm OSD (bài 11) |
POOL_NEAR_FULL / POOL_FULL | Pool tới ngưỡng cảnh báo / đã chạm quota (không ghi được nữa) | ceph df detail (cột QUOTA BYTES), ceph osd pool get-quota <pool>; dọn dữ liệu hoặc nới quota (bài 07 mục 8.7, bài 11 mục 9.1) |
OSD_DOWN, OSD_HOST_DOWN | OSD hoặc cả host không hoạt động | Kiểm tra host, dịch vụ, mạng, /var/log/ceph/ceph-osd.* |
OSDMAP_FLAGS | Còn cờ như noout, norecover | ceph osd dump (dòng flags); sau bảo trì phải ceph osd unset noout |
PG_DEGRADED | PG thiếu bản sao | Thường do OSD down; chờ recovery, theo dõi ceph -s |
MON_DOWN, MGR_DOWN | Thiếu monitor/manager | Khởi động lại dịch vụ; MGR down thì alerts/prometheus cũng im |
SLOW_OPS, BLUESTORE_SLOW_OP_ALERT | Thao tác chậm, ổ có thể sắp hỏng | ceph daemon osd.N dump_historic_ops; kiểm tra SMART ổ đó (mục 6) |
DEVICE_HEALTH* | Ceph dự đoán ổ sắp hỏng | ceph device ls (mục 5.4) |
RECENT_CRASH | Daemon vừa crash | ceph crash ls-new, ceph crash info <id>, sau đó ceph crash archive-all |
MON_CLOCK_SKEW | Lệch giờ giữa MON | Sửa NTP/chrony, không tăng mon_clock_drift_allowed |
OSD_SCRUB_ERRORS, PG_DAMAGED | Scrub phát hiện dữ liệu không nhất quán | Runbook bài 11 |
PG_NOT_DEEP_SCRUBBED | Quá hạn deep-scrub | ceph pg deep-scrub <pgid> |
TOO_MANY_PGS | Quá nhiều PG trên mỗi OSD | Thêm OSD hoặc giảm PG (bài 11) |
Tắt tạm một cảnh báo đã biết để không ồn (có thời hạn): ceph health mute OSD_SCRUB_ERRORS 1w, bỏ bằng ceph health unmute <MÃ>. Giám sát liên tục: watch ceph -s hoặc ceph --watch.
5.3 Module mgr alerts: Ceph gửi thư khi trạng thái health đổi
Module alerts gửi email khi HEALTH_* thay đổi, không cần Prometheus. Docs Ceph nhấn mạnh nó không phải giải pháp giám sát chắc chắn: nếu ceph-mgr chết thì không có thư nào. Module chỉ hỗ trợ SMTP trực tiếp (SSL ngầm cổng 465 mặc định, hoặc không mã hoá nếu smtp_ssl false); tài liệu không nói nó hỗ trợ STARTTLS. Vì Mailu bài 16 chỉ mở 587 STARTTLS cho dịch vụ nội bộ, cách đơn giản và đồng nhất là cho module gửi tới Postfix cục bộ trên chính node chạy mgr, thư gửi root sẽ được PVE chuyển thành system-mail và đi qua matcher (mục 3.3), không cần mật khẩu SMTP trong cấu hình Ceph:
grep -E '^root:' /etc/aliases || echo "(không có alias root: -> .forward của root được dùng)" # kiểm tra mục 1.4
ceph mgr module enable alerts
ceph config set mgr mgr/alerts/smtp_host 127.0.0.1
ceph config set mgr mgr/alerts/smtp_port 25
ceph config set mgr mgr/alerts/smtp_ssl false # loopback, không có TLS
ceph config set mgr mgr/alerts/smtp_sender [email protected]
ceph config set mgr mgr/alerts/smtp_destination root@localhost
ceph config set mgr mgr/alerts/smtp_from_name 'Ceph HOATRANHUB'
ceph config set mgr mgr/alerts/interval 5m
ceph alerts send # ép gửi ngay một thư để thử
Mọi node PVE đều có Postfix lắng nghe loopback nên khi mgr chuyển sang node khác vẫn gửi được. Đường đi smtp_destination root@localhost → Postfix → proxmox-mail-forward chưa được xác minh trên máy thật (cần kiểm lại; nếu thư không tới, xem Troubleshooting). Với cụm có Prometheus (bài 15), nên dùng thêm luồng 2 ở mục 8 vì nó vẫn cảnh báo khi trạng thái không đổi (ví dụ HEALTH_WARN kéo dài).
5.4 Ceph theo dõi sức khoẻ ổ qua SMART (device health)
Ceph tự thu thập SMART của ổ OSD (cần smartctl) và cảnh báo DEVICE_HEALTH*. Kiểm tra: ceph device ls (cột LIFE EXPECTANCY), ceph device monitoring on, ceph device scrape-health-metrics, ceph config get mgr mgr/devicehealth/scrape_frequency (mặc định 24 giờ). Lưu ý mgr/devicehealth/self_heal (mặc định bật) tự đánh dấu out ổ được dự đoán sắp hỏng nên dữ liệu bắt đầu di chuyển mà không ai bấm; không muốn thì ceph config set mgr mgr/devicehealth/self_heal false. Quyền để tiến trình Ceph chạy smartctl trên node PVE chưa được xác minh: coi smartd (mục 6) là nguồn chính, Ceph device health là bổ sung.
5.5 Prometheus/Alertmanager cho Ceph
Module prometheus của mgr (cổng 9283) và rule cảnh báo nằm ở mục 8.2 và 8.4, làm sau bài 15.
SMART: theo dõi sức khoẻ ổ đĩa
PVE đã làm gì sẵn (xác minh) · Chuẩn hoá /etc/smartd.conf · Ngưỡng hành động và chu kỳ kiểm tra
6.1 PVE đã làm gì sẵn (xác minh)
Theo docs PVE (System Administration → Disk Health Monitoring): smartmontools được cài và bắt buộc, smartd chạy và bật sẵn, quét các thiết bị /dev/sd[a-z], /dev/sd[a-z][a-z], /dev/hd[a-t], /dev/nvme[0-99] mỗi 30 phút và gửi email tới root khi phát hiện vấn đề. Vì thư đi tới root, trên PVE 9 nó trở thành sự kiện system-mail (mục 1.4). Như vậy chỉ cần default-matcher/m-push-system-mail là đã có cảnh báo SMART; PVE không có sự kiện SMART riêng nào khác. Các điểm cần tự bổ sung: lịch self-test định kỳ, ngưỡng nhiệt độ, kiểm tra với ổ sau RAID/HBA, và giám sát tập trung.
systemctl is-active smartmontools # active (smartd.service là bí danh)
grep -Ev '^\s*(#|$)' /etc/smartd.conf # cấu hình đang áp dụng
smartctl --scan # thiết bị và kiểu -d mà smartctl đề xuất
smartctl -H /dev/sda # PASSED / FAILED
smartctl -a /dev/sda | less # đầy đủ; NVMe: smartctl -a /dev/nvme0
# qua API PVE (dùng được từ xa, cho script/Ansible)
pvesh get /nodes/node1/disks/list --output-format json | jq -r '.[] | [.devpath,.model,.health] | @tsv'
pvesh get /nodes/node1/disks/smart --disk /dev/sda --healthonly 1
Giao diện: Node → Disks → chọn ổ → Show S.M.A.R.T. values.
QEMU HARDDISK của node (bài 02/03) thường không hỗ trợ SMART (smartctl -H báo "SMART support is: Unavailable" hoặc không có dòng PASSED) và smartd sẽ bỏ qua. Đó là bình thường: trong lab chỉ kiểm được đường đi của thư (mục 6.4); việc đọc SMART thật cần kiểm lại trên máy thật.
6.2 Chuẩn hoá /etc/smartd.conf
Đổi các điểm sau so với mặc định: thêm lịch self-test, ngưỡng nhiệt độ, khai báo rõ kiểu thiết bị (SATA/SAS/NVMe/RAID). Tham số theo man smartd.conf(5) của smartmontools 7.4: -a (bật các kiểm tra ATA chuẩn, gồm -H -f -t -l error -l selftest -C 197 -U 198), -o on/-S on (offline test, autosave của ATA), -n standby,q (bỏ qua ổ đang ngủ), -s REGEXP (lịch test), -W DIFF,INFO,CRIT (nhiệt độ), -m root -M exec …/smartd-runner (gửi thư tới root qua runner của Debian).
cp -a /etc/smartd.conf /etc/smartd.conf.bak-$(date +%F)
cat > /etc/smartd.conf << 'EOF'
# /etc/smartd.conf — chuẩn HOATRANLABS (bài 10)
# -s T/MM/DD/d/HH (khớp cả 12 ký tự): test NGẮN hằng ngày 05:00, test DÀI ngày 01 hằng tháng 05:00
# (node2 đổi 01 -> 02, node3 -> 03, node4 -> 04 để 4 node không cùng đọc ổ một lúc; 05:00 nằm ngoài các job backup 00:30-04:00)
# Thư: smartd-runner chạy /etc/smartmontools/run.d/*, thư tới root -> PVE system-mail
# 1) SATA/SAS SSD hoặc HDD nối trực tiếp (OS và OSD Ceph)
/dev/sda -d auto -a -o on -S on -n standby,q -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
/dev/sdb -d auto -a -o on -S on -n standby,q -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
# 2) NVMe (bỏ comment khi có): ngưỡng nhiệt cao hơn SATA; self-test NVMe cần kiểm lại theo firmware
#/dev/nvme0 -d nvme -H -l error -W 0,70,80 -m root -M exec /usr/share/smartmontools/smartd-runner
# 3) SAS thuần SCSI sau HBA IT-mode
#/dev/sdc -d scsi -H -l error -l selftest -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
# 4) Sau RAID cứng (Dell PERC...): MỖI ổ vật lý một dòng, N là số thứ tự ổ trong RAID (cần kiểm lại trên máy thật)
#/dev/sda -d megaraid,0 -a -s (S/../.././05|L/../01/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
# 5) Mọi ổ còn lại (gắn thêm về sau); DEVICESCAN phải là dòng cuối, các dòng sau nó bị bỏ qua
DEVICESCAN -d removable -a -n standby,q -m root -M exec /usr/share/smartmontools/smartd-runner
EOF
systemctl restart smartmontools
journalctl -u smartmontools -b --no-pager | tail -20
smartd -q showtests -c /etc/smartd.conf # liệt kê các lần self-test sắp chạy (mẫu: S ngắn 05:xx hằng ngày)
Ghi chú:
- Dòng 1 chỉ giữ những thiết bị thật có trên node; liệt kê bằng
lsblk -d -o NAME,ROTA,TRAN,MODEL,SIZErồi đối chiếusmartctl --scan. Ở quy mô lớn sinh dòng này bằng Ansible theo lớp phần cứng (mục 9). - Ổ sau RAID cứng,
smartctlcần-d megaraid,N(hoặcsat+megaraid,Ncho SATA sau MegaRAID, theo man của smartctl, cần kiểm lại); ổ nằm trong volume ảo không thấy được ở/dev/sdX. Với controller có công cụ riêng của hãng, giám sát bằng công cụ đó. - Với Ceph, không dùng RAID dưới OSD (bài 03): để HBA/IT-mode hoặc JBOD thì
smartctlđọc thẳng được từng ổ. - Nâng cấp gói
smartmontoolscó thể ghi lại/etc/smartd.conf: giữ bản gốc đã sao lưu và để Ansible là nguồn sự thật.
6.3 Ngưỡng hành động và chu kỳ kiểm tra
| Chỉ báo | Hành động | Ghi chú |
|---|---|---|
SMART overall-health = FAILED | Thay ổ ngay | Với OSD: ceph osd out, thay OSD (bài 11) |
ATA 5 Reallocated_Sector_Ct > 0 và tăng | Lên kế hoạch thay | Tăng nhanh hoặc kèm lỗi I/O thì thay ngay |
ATA 197 Current_Pending_Sector, 198 Offline_Uncorrectable > 0 | Thay ổ | -a đã bật -C 197 -U 198 |
ATA 199 UDMA_CRC_Error_Count tăng | Kiểm tra cáp/backplane | Lỗi đường truyền, chưa chắc ổ hỏng |
NVMe Critical Warning ≠ 0 | Thay ổ | smartd -H kiểm byte này |
NVMe Percentage Used ≥ 80%, Available Spare thấp | Lên kế hoạch thay | Ổ SSD sắp hết tuổi thọ ghi |
NVMe Media and Data Integrity Errors > 0 | Thay ổ | |
Nhiệt độ (-W) | SATA ≥ 55–60 °C, NVMe ≥ 70–75 °C: kiểm tra làm mát | Ngưỡng tham khảo; theo datasheet của hãng |
| Chu kỳ | Việc |
|---|---|
Mỗi 30 phút (mặc định smartd) | Đọc SMART, gửi thư khi có thay đổi xấu |
| Hằng ngày 05:00 | Self-test ngắn |
| Hằng tháng, lệch ngày giữa các node | Self-test dài (ảnh hưởng hiệu năng ổ OSD, nên tránh cao điểm) |
| Hằng quý | Xem lại smartctl -a các ổ có chỉ số xấu, kiểm tra xem thư cảnh báo vẫn tới (mục 6.4) |
6.4 Kiểm tra đường đi của cảnh báo SMART
Trên phần cứng thật, dùng cấu hình thử riêng để smartd gửi một thư thử (-M test) mà không đụng cấu hình chính:
cat > /tmp/smartd-test.conf << 'EOF'
/dev/sda -d auto -H -m root -M test -M exec /usr/share/smartmontools/smartd-runner
EOF
smartd -n -c /tmp/smartd-test.conf -q onecheck # chạy một vòng kiểm tra rồi thoát (cần kiểm lại trên máy thật)
rm -f /tmp/smartd-test.conf
Trên lab ảo (ổ không có SMART), mô phỏng phần của PVE: gửi thư tới root giống smartd:
echo "Giả lập: SMART FAILED trên /dev/sdb của $(hostname -s)" | mail -s "SMART error (giả lập) $(hostname -s)" root
Mong đợi: thư tới [email protected] (qua default-matcher) và tin trong Mattermost #alerts (qua m-push-system-mail).
Hook trực tiếp (tuỳ chọn): Debian chạy mọi script trong /etc/smartmontools/run.d/ mỗi khi smartd có cảnh báo, với biến môi trường SMARTD_* (SMARTD_FAILTYPE, SMARTD_DEVICE, SMARTD_MESSAGE, SMARTD_FULLMESSAGE). Cần khi muốn đẩy sang Gotify ngay cả lúc hệ thống thông báo PVE hỏng; nếu đã có m-push-system-mail thì thừa:
install -m 700 -d /etc/smartmontools && install -m 600 /dev/null /etc/smartmontools/gotify.token
read -rsp 'Gotify app token: ' T; echo "$T" > /etc/smartmontools/gotify.token
cat > /etc/smartmontools/run.d/50-gotify << 'EOF'
#!/bin/sh
# Chạy bởi smartd-runner (run-parts). Không báo lỗi khi Gotify không tới được.
[ -n "$SMARTD_FAILTYPE" ] || exit 0
TOKEN=$(cat /etc/smartmontools/gotify.token) || exit 0
curl -fsS --max-time 10 "http://10.11.45.36:3002/message?token=$TOKEN" \
-F "title=SMART $SMARTD_FAILTYPE $(hostname -s) $SMARTD_DEVICE" \
-F "message=$SMARTD_MESSAGE" -F "priority=8" >/dev/null || true
EOF
chmod 755 /etc/smartmontools/run.d/50-gotify
UPS với NUT: tắt cả cụm có thứ tự khi mất điện
Kiến trúc và vai trò · Cài đặt và cấu hình trên node1 (primary) · Cấu hình upsmon: primary trên node1, secondary trên node2–4
7.1 Kiến trúc và vai trò
| Thiết bị | Vai trò NUT | nut.conf | Ghi chú |
|---|---|---|---|
ups01 10.11.45.19 | UPS có thẻ mạng NMC (SNMP) | — | NMC, switch VLAN 45 và FortiGate phải cùng nằm trên UPS, nếu không node mất đường tới NMC khi mất điện |
node1 10.11.45.210 | upsd (đọc ups01 bằng snmp-ups) + upsmon primary | netserver | Chạy script điều phối tắt cluster; upsd nghe 10.11.45.210:3493 |
| node2–node4 | upsmon secondary | netclient | Chỉ dự phòng: tự tắt trễ nếu node1 không điều phối kịp |
| pbs01, pdm01 (VM trên node4) | Không cài NUT | — | Là guest, tắt cùng các guest khác |
| syno-primary (NAS) | Client NUT của DSM nếu hỗ trợ | — | Cần kiểm lại trên máy thật (mục 7.9) |
| node5, node6, pbsdr01 (site phụ) | UPS và upsd riêng của site | standalone | Không dùng chung UPS với HOATRANHUB |
upsd ở máy ngoài cluster (Raspberry Pi/mini PC, cũng là chỗ tốt cho QDevice, bài 03) và cho cả bốn node là secondary. Bài này theo thiết kế của lab (primary trên node1) vì node1 có sẵn; kịch bản dự phòng ở mục 7.3 giảm rủi ro.
Quy trình theo thời gian (giá trị mặc định của bài, chỉnh theo UPS thật):
| Mốc | Sự kiện | Việc xảy ra |
|---|---|---|
| T+0 | UPS chuyển sang pin (ONBATT) | Bắt đầu hai bộ đếm |
| T+30 s | Vẫn trên pin | Email "UPS đang chạy bằng pin" (lọc nhiễu mất điện thoáng qua) |
| T+2 phút | Vẫn trên pin | Cắt tải: tắt guest gắn tag ups-shed để kéo dài thời gian pin |
Khi battery.runtime < 900 s hoặc battery.charge < 30% (LOWBATT) | primary phát FSD | node1 chạy pve-ups shutdown: dừng guest → noout → tắt node2–4 → tắt node1 (cần khoảng 8–10 phút). node2–4 là dự phòng, tự tắt sau 480 s |
| Điện lưới về | ONLINE | Hủy bộ đếm; sau 5 phút ổn định bật lại guest đã cắt tải. Nếu cluster đã tắt: xem mục 7.7 |
Dung lượng UPS phải đủ: thời gian chạy pin ở tải thực tế nên ≥ 15 phút (ngưỡng pin yếu) + 10 phút đệm = 25 phút trở lên. Nếu UPS nhỏ hơn, đừng hạ ngưỡng xuống dưới thời gian tắt cluster mà hãy tăng dung lượng (thêm EBM) hoặc giảm tải. Đo thời gian tắt cluster thật ở bước thử (mục 7.6) rồi đặt ngưỡng.
7.2 Cài đặt và cấu hình trên node1 (primary)
apt update && apt install -y nut-server nut-client nut-snmp jq bsd-mailx sudo
cp -a /etc/nut /etc/nut.bak-$(date +%F)
install -d -m 750 -o root -g nut /var/lib/pve-ups
# nut.conf: chế độ máy chủ mạng
sed -i 's/^MODE=.*/MODE=netserver/' /etc/nut/nut.conf && grep ^MODE /etc/nut/nut.conf
# mật khẩu ngẫu nhiên cho 3 tài khoản NUT và SNMP (ghi lại vào Vaultwarden, bài 19)
for u in ADMIN PRIMARY SECONDARY; do echo "$u: $(openssl rand -base64 18)"; done
/etc/nut/ups.conf — UPS có NMC, đọc bằng SNMPv3 (thay <...>; bật SNMPv3 và tạo user chỉ đọc trên NMC, thao tác tuỳ hãng, cần kiểm lại trên máy thật). Các tuỳ chọn snmp_version, secLevel, secName, authProtocol, privProtocol theo man snmp-ups:
maxretry = 3
[ups01]
driver = snmp-ups
port = 10.11.45.19
desc = "ups01 (NMC, SNMPv3)"
mibs = auto
snmp_version = v3
secLevel = authPriv
secName = nut-monitor
authProtocol = SHA
authPassword = <SNMP_AUTH_PASS>
privProtocol = AES
privPassword = <SNMP_PRIV_PASS>
pollfreq = 15
# Pin yếu do NUT tính (thay vì chỉ tin cờ LB của UPS): "Use with caution" theo man ups.conf
ignorelb
override.battery.charge.low = 30
override.battery.runtime.low = 900
Biến thể: UPS nối USB trực tiếp vào node1 (không có NMC)
[ups01]
driver = usbhid-ups
port = auto
desc = "ups01 (USB)"
ignorelb
override.battery.charge.low = 30
override.battery.runtime.low = 900
nut-server đã chứa usbhid-ups; cắm cáp USB, lsusb phải thấy UPS. 1 node standalone dùng biến thể này với MODE=standalone.
Biến thể LAB ẢO: UPS mô phỏng bằng dummy-ups (để thử toàn bộ chuỗi)
[ups01]
driver = dummy-ups
port = ups01.dev
desc = "UPS mô phỏng (lab ảo)"
cat > /etc/nut/ups01.dev << 'EOF'
device.type: ups
ups.mfr: HOATRANLABS
ups.model: dummy-sim
ups.status: OL
battery.charge: 100
battery.runtime: 1800
ups.load: 35
input.voltage: 230.0
EOF
chown root:nut /etc/nut/ups01.dev; chmod 640 /etc/nut/ups01.dev
Tệp *.dev chạy ở chế độ dummy-once: driver đọc lại khi thời gian sửa đổi (mtime) của tệp đổi, nên chỉnh ups.status là mô phỏng được mất điện (mục 7.6).
/etc/nut/upsd.conf (đổi LISTEN cần restart, không reload). LISTEN chỉ chọn địa chỉ nghe, không phải biện pháp bảo mật (man upsd.conf): bảo vệ bằng firewall:
LISTEN 127.0.0.1 3493
LISTEN 10.11.45.210 3493
MAXAGE 15
/etc/nut/upsd.users (người dùng NUT tách biệt với tài khoản hệ điều hành; allowfrom không còn, giới hạn nguồn bằng firewall):
[admin]
password = <ADMIN_PASS>
actions = SET
instcmds = ALL
[upsmon-primary]
password = <PRIMARY_PASS>
upsmon primary
[upsmon-secondary]
password = <SECONDARY_PASS>
upsmon secondary
chown root:nut /etc/nut/*.conf /etc/nut/upsd.users; chmod 640 /etc/nut/*.conf /etc/nut/upsd.users
Firewall node1 (bài 05, mục 5.1): bài 05 đã soạn sẵn rule NUT trong /etc/pve/nodes/node1/host.fw ở dạng tắt (dòng bắt đầu bằng |), chỉ cho các node thuộc ipset-pve-nodes vào cổng 3493. Bài này bật rule đó và chỉ thêm đúng những bên cần đọc upsd: Prometheus (nut_exporter, bài 15 Bước 11) và NAS/PBS vật lý nếu chúng làm client NUT (VM pbs01 không cần vì dừng cùng các guest). Không mở 3493 cho nguồn nào khác:
cp -a /etc/pve/nodes/node1/host.fw /root/host.fw.bak-$(date +%F)
grep -n 3493 /etc/pve/nodes/node1/host.fw # phải thấy dòng bài 05, đang bắt đầu bằng |
# bật rule NUT của bài 05 (bỏ dấu | đầu dòng)
sed -i 's/^|\(IN ACCEPT -source +dc\/ipset-pve-nodes -p tcp -dport 3493\)/\1/' /etc/pve/nodes/node1/host.fw
# nguồn đọc số liệu: alias prometheus có sẵn ở bài 05; NAS chỉ bỏ dấu # khi thật sự dùng làm client NUT (mục 7.9)
cat >> /etc/pve/nodes/node1/host.fw << 'EOF'
IN ACCEPT -source prometheus -p tcp -dport 3493 # nut_exporter (bài 15 Bước 11)
#IN ACCEPT -source 10.11.45.16 -p tcp -dport 3493 # syno-primary làm client NUT (cần kiểm lại)
EOF
pve-firewall compile 1>/dev/null # không in cảnh báo nghĩa là cú pháp ổn (cách kiểm của bài 05)
iptables -S PVEFW-HOST-IN | grep 3493 # thấy rule ACCEPT cho ipset-pve-nodes và 10.11.45.35
Giao diện tương đương: node1 → Firewall → Rules, chọn rule cổng 3493 và bật. Nếu grep không thấy dòng nào (chưa làm mục 5.1 của bài 05) thì thêm tay IN ACCEPT -source +dc/ipset-pve-nodes -p tcp -dport 3493 vào cuối host.fw của node1. upsd chỉ chạy trên node1 nên chỉ node1 cần rule này; chiều đi ra (node1 hỏi SNMP tới ups01, node2–4 nối tới node1) được phép theo chính sách OUT mặc định của bài 05.
7.3 Cấu hình upsmon: primary trên node1, secondary trên node2–4
node1 — /etc/nut/upsmon.conf (giữ bản gốc đã sao lưu; từ khoá primary tương đương master của NUT cũ):
MONITOR ups01@localhost 1 upsmon-primary <PRIMARY_PASS> primary
MINSUPPLIES 1
RUN_AS_USER nut
SHUTDOWNCMD "/usr/local/sbin/pve-ups shutdown"
NOTIFYCMD /usr/sbin/upssched
POLLFREQ 5
POLLFREQALERT 5
HOSTSYNC 15
DEADTIME 15
POWERDOWNFLAG /etc/killpower
NOTIFYFLAG ONLINE SYSLOG+EXEC
NOTIFYFLAG ONBATT SYSLOG+EXEC
NOTIFYFLAG LOWBATT SYSLOG+EXEC
NOTIFYFLAG FSD SYSLOG+EXEC
NOTIFYFLAG SHUTDOWN SYSLOG+EXEC
NOTIFYFLAG COMMBAD SYSLOG+EXEC
NOTIFYFLAG COMMOK SYSLOG+EXEC
NOTIFYFLAG NOCOMM SYSLOG+EXEC
NOTIFYFLAG REPLBATT SYSLOG+EXEC
node2, node3, node4 — apt install -y nut-client, rồi:
sed -i 's/^MODE=.*/MODE=netclient/' /etc/nut/nut.conf
install -d -m 750 -o root -g nut /var/lib/pve-ups
cat > /etc/nut/upsmon.conf << 'EOF'
MONITOR [email protected] 1 upsmon-secondary <SECONDARY_PASS> secondary
MINSUPPLIES 1
RUN_AS_USER nut
SHUTDOWNCMD "/usr/local/sbin/pve-ups-secondary"
POLLFREQ 5
POLLFREQALERT 5
DEADTIME 15
POWERDOWNFLAG /etc/killpower
NOTIFYFLAG ONBATT SYSLOG
NOTIFYFLAG LOWBATT SYSLOG
NOTIFYFLAG FSD SYSLOG
NOTIFYFLAG COMMBAD SYSLOG
EOF
chown root:nut /etc/nut/upsmon.conf; chmod 640 /etc/nut/upsmon.conf
cat > /usr/local/sbin/pve-ups-secondary << 'EOF'
#!/bin/sh
# SHUTDOWNCMD của upsmon secondary (node2-4). node1 đang điều phối tắt cluster nên CHỜ rồi mới tự tắt (dự phòng).
D=/var/lib/pve-ups; WAIT=${WAIT:-480}
logger -t pve-ups "FSD từ node1: chờ ${WAIT}s cho node1 điều phối; nếu chưa bị tắt sẽ tự tắt"
if [ -e "$D/dry-run" ]; then logger -t pve-ups "[DRY_RUN] sẽ tắt sau ${WAIT}s, không thực thi"; exit 0; fi
sleep "$WAIT"
exec /sbin/shutdown -h now "UPS: dự phòng tắt node (node1 không điều phối kịp)"
EOF
chmod 755 /usr/local/sbin/pve-ups-secondary
systemctl enable --now nut-monitor.service
Khi mất điện và node1 hỏng, bốn node không có primary: đó là lý do mục 7.1 khuyên chuyển upsd ra máy ngoài cluster khi cụm lớn.
7.4 Script điều phối pve-ups và dịch vụ khôi phục (node1)
Script tuân theo quy trình tắt/bật cụm Proxmox + Ceph trong docs PVE (chương Ceph, mục Shutdown Proxmox VE + Ceph HCI cluster): dừng mọi client trước (khi dừng bằng công cụ PVE, guest HA chuyển sang stopped), kiểm tra Ceph, đặt noout, tắt dần node; khi bật lại: bật các node có MON trước, bỏ noout, rồi bật guest. Script tự stopall từng node nên tôn trọng thứ tự và thời gian dừng startup của từng guest (order, down) và đã ghi lại danh sách guest đang chạy để bật lại.
root trên node1 và tắt máy thật. Luôn tạo cờ touch /var/lib/pve-ups/dry-run trên mọi node trước khi thử (script chỉ ghi log). Chưa thử trên máy thật: kiểm tra từng bước ở staging trước.
cat > /usr/local/sbin/pve-ups << 'EOF'
#!/usr/bin/env bash
# /usr/local/sbin/pve-ups — điều phối UPS cho cluster HOATRANHUB (chạy trên node1, root)
# shed | restore | shutdown | recover Cờ /var/lib/pve-ups/dry-run (hoặc DRY_RUN=1): chỉ ghi log
set -uo pipefail
STATE=/var/lib/pve-ups; mkdir -p "$STATE"
DRY_RUN=${DRY_RUN:-0}; [ -e "$STATE/dry-run" ] && DRY_RUN=1
log() { logger -t pve-ups -- "$*"; echo "$(date -Is) $*"; }
run() { if [ "$DRY_RUN" = 1 ]; then log "[DRY_RUN] $*"; else "$@"; fi; }
note() { printf '%s\n' "$2" | mail -s "$1" root || true; } # thư root -> PVE system-mail -> matcher mục 3.3
guests() { pvesh get /cluster/resources --type vm --output-format json; }
wait_for() { local t=0; [ "$DRY_RUN" = 1 ] && return 0; while [ "$t" -lt "$1" ]; do "$2" && return 0; sleep 10; t=$((t+10)); done; return 1; }
no_guests() { [ "$(guests | jq '[.[] | select(.status=="running")] | length')" = 0 ]; }
others_off() { for n in "${OTHERS[@]}"; do ping -c1 -W1 "$n" >/dev/null 2>&1 && return 1; done; return 0; }
quorate() { pvecm status 2>/dev/null | grep -q 'Quorate:[[:space:]]*Yes'; }
all_osds_up() { ceph osd stat -f json 2>/dev/null | jq -e '.num_osds > 0 and .num_up_osds == .num_osds' >/dev/null; }
shed() { # tắt guest gắn tag ups-shed (đặt tag: qm set <vmid> --tags ups-shed)
guests | jq -r '.[] | select(.status=="running" and ((.tags // "") | split(";") | index("ups-shed"))) | "\(.type) \(.node) \(.vmid)"' > "$STATE/shed.list"
[ -s "$STATE/shed.list" ] || { log "shed: không có guest gắn tag ups-shed"; return 0; }
note "[UPS] Cắt tải: tắt guest tag ups-shed" "$(cat "$STATE/shed.list")"
while read -r type node vmid; do
run pvesh create "/nodes/$node/$type/$vmid/status/shutdown" --timeout 120 --forceStop 1 || true
done < "$STATE/shed.list"
}
restore() {
[ -s "$STATE/shed.list" ] || return 0
while read -r type node vmid; do run pvesh create "/nodes/$node/$type/$vmid/status/start" || true; done < "$STATE/shed.list"
run rm -f "$STATE/shed.list"; note "[UPS] Điện lưới ổn định: đã bật lại guest cắt tải" "xong"
}
shutdown_cluster() {
exec 9>/run/pve-ups.lock; flock -n 9 || { log "shutdown đang chạy, bỏ qua"; return 0; }
log "=== BẮT ĐẦU tắt cluster theo thứ tự ==="
[ "$DRY_RUN" = 1 ] || date -Is > "$STATE/shutdown.flag"
note "[UPS] Bắt đầu tắt cluster HOATRANHUB" "Pin yếu hoặc FSD: dừng guest -> noout -> tắt node2-4 -> tắt node1."
local me; me=$(hostname -s)
mapfile -t OTHERS < <(pvesh get /nodes --output-format json | jq -r --arg me "$me" '.[] | select(.status=="online" and .node!=$me) | .node')
# 0. ghi danh sách guest đang chạy để bật lại sau
guests | jq '[.[] | select(.status=="running") | {type, node, vmid, ha: (.hastate != null)}]' > "$STATE/guests.json"
# 1. guest HA -> state stopped (không bị khôi phục sang node khác)
jq -r '.[] | select(.ha) | (if .type=="qemu" then "vm" else "ct" end) + ":" + (.vmid|tostring)' "$STATE/guests.json" \
| while read -r sid; do run ha-manager set "$sid" --state stopped; done
# 2. dừng mọi guest còn lại trên từng node (stopall theo thứ tự startup đảo ngược, 120 s mỗi guest)
for n in "$me" "${OTHERS[@]}"; do run pvesh create "/nodes/$n/stopall" --timeout 120 --force-stop 1 || true; done
wait_for 600 no_guests || log "CẢNH BÁO: vẫn còn guest chạy sau 600 s"
# 3. Ceph: không đánh dấu OSD out khi node tắt dần
run timeout 30 ceph osd set noout || log "không đặt được noout"
# 4. tắt các node khác (guest đã dừng nên thứ tự không còn quan trọng), node1 tắt cuối
for n in "${OTHERS[@]}"; do run pvesh create "/nodes/$n/status" --command shutdown || true; done
wait_for 240 others_off || log "một số node chưa tắt sau 240 s"
log "=== Tắt node $me (cuối cùng) ==="; run systemctl poweroff
}
recover() { # chạy khi node1 khởi động lại sau lần tắt có cờ shutdown.flag
[ -e "$STATE/shutdown.flag" ] || { log "recover: không có cờ, bỏ qua"; return 0; }
wait_for 1800 quorate || { note "[UPS] Chưa đủ quorum sau 30 phút" "Kiểm tra node2-4, mạng corosync; noout vẫn còn."; return 1; }
wait_for 1800 all_osds_up || { note "[UPS] Ceph chưa đủ OSD up sau 30 phút" "Xử lý tay rồi: ceph osd unset noout"; return 1; }
run ceph osd unset noout
jq -r '.[] | "\(.type) \(.node) \(.vmid)"' "$STATE/guests.json" | while read -r type node vmid; do
st=$(pvesh get "/nodes/$node/$type/$vmid/status/current" --output-format json 2>/dev/null | jq -r '.status // "unknown"')
[ "$st" = running ] || run pvesh create "/nodes/$node/$type/$vmid/status/start" || true
sleep 2
done
run rm -f "$STATE/shutdown.flag"; note "[UPS] Cluster đã khởi động lại" "Đã bỏ noout và bật lại guest. Kiểm tra ceph -s, ha-manager status."
}
case "${1:-}" in shed) shed;; restore) restore;; shutdown) shutdown_cluster;; recover) recover;;
*) echo "Dùng: $0 shed|restore|shutdown|recover"; exit 2;; esac
EOF
chmod 750 /usr/local/sbin/pve-ups; chown root:root /usr/local/sbin/pve-ups
cat > /etc/systemd/system/pve-ups-recover.service << 'EOF'
[Unit]
Description=Khôi phục cluster sau khi tắt do UPS (bỏ noout, bật lại guest)
After=pve-cluster.service ceph.target pve-guests.service network-online.target
Wants=network-online.target
ConditionPathExists=/var/lib/pve-ups/shutdown.flag
[Service]
Type=simple
ExecStart=/usr/local/sbin/pve-ups recover
TimeoutStartSec=3700
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload && systemctl enable pve-ups-recover.service
# Cho Ceph thời gian lên trước khi PVE tự bật guest onboot (tối đa 300 s mỗi node)
for n in node1 node2 node3 node4; do pvesh set "/nodes/$n/config" --startall-onboot-delay 120; done
Về HA: vì script đặt guest HA về stopped rồi stopall, chính sách ha: shutdown_policy (Datacenter → Options → HA Settings) không ảnh hưởng luồng chính. Nó chỉ quyết định cách tắt dự phòng của node2–4 và các lần tắt lẻ: conditional (mặc định) khôi phục dịch vụ sang node khác khi tắt hẳn node, đóng băng khi reboot; freeze đóng băng, không khôi phục khi node tắt; failover luôn khôi phục; migrate di chuyển đi trước. Giữ conditional cho vận hành hằng ngày (bài 06 dùng maintenance mode ha-manager crm-command node-maintenance enable/disable <node> khi cập nhật).
7.5 Thông báo từ NUT: upssched và sudo
upsmon gọi upssched, upssched chạy script theo sự kiện hoặc bộ đếm. Script chạy bằng user nut nên chỉ gửi thư (đi qua system-mail) và gọi pve-ups shed|restore qua sudo giới hạn đúng hai lệnh:
cat > /etc/nut/upssched.conf << 'EOF'
CMDSCRIPT /usr/local/sbin/upssched-cmd
PIPEFN /run/nut/upssched/upssched.pipe
LOCKFN /run/nut/upssched/upssched.lock
AT ONBATT * START-TIMER onbatt-warn 30
AT ONBATT * START-TIMER shed 120
AT ONBATT * CANCEL-TIMER restore
AT ONLINE * CANCEL-TIMER onbatt-warn online
AT ONLINE * CANCEL-TIMER shed
AT ONLINE * START-TIMER restore 300
AT LOWBATT * EXECUTE lowbatt
AT FSD * EXECUTE fsd
AT COMMBAD * START-TIMER commbad 60
AT COMMOK * CANCEL-TIMER commbad
AT REPLBATT * EXECUTE replbatt
EOF
install -d -o nut -g nut -m 750 /run/nut/upssched
echo 'd /run/nut/upssched 0750 nut nut -' > /etc/tmpfiles.d/nut-upssched.conf
cat > /usr/local/sbin/upssched-cmd << 'EOF'
#!/bin/sh
# Chạy bởi upssched (user nut). Thư gửi root -> PVE system-mail -> matcher (mục 3.3).
send() { printf '%s\n' "$2" | mail -s "$1" root; }
case "$1" in
onbatt-warn) send "[UPS] ups01 đang chạy bằng pin" "Mất điện lưới hơn 30 giây. Kiểm tra nguồn điện; cluster sẽ tự tắt có thứ tự khi pin yếu." ;;
shed) sudo -n /usr/local/sbin/pve-ups shed ;;
online) send "[UPS] Điện lưới đã trở lại" "ups01 đã về nguồn lưới." ;;
restore) sudo -n /usr/local/sbin/pve-ups restore ;;
lowbatt) send "[UPS] PIN YẾU ups01" "Pin yếu: node1 sắp tắt cluster theo thứ tự." ;;
fsd) send "[UPS] FSD: tắt cluster" "Đã phát lệnh tắt khẩn (FSD)." ;;
commbad) send "[UPS] Mất liên lạc với ups01" "Hơn 60 giây không đọc được UPS (NMC/SNMP hoặc USB)." ;;
replbatt) send "[UPS] Cần thay pin ups01" "UPS báo cần thay pin." ;;
*) logger -t upssched-cmd "sự kiện không biết: $1" ;;
esac
EOF
chmod 755 /usr/local/sbin/upssched-cmd
echo 'nut ALL=(root) NOPASSWD: /usr/local/sbin/pve-ups shed, /usr/local/sbin/pve-ups restore' > /etc/sudoers.d/nut-pve-ups
chmod 440 /etc/sudoers.d/nut-pve-ups && visudo -cf /etc/sudoers.d/nut-pve-ups
systemctl restart nut-driver-enumerator.service
systemctl enable --now nut-server.service nut-monitor.service
systemctl restart nut-server.service nut-monitor.service
systemctl list-units 'nut*' --no-pager # tên unit có thể khác theo gói, cần kiểm lại trên máy thật
upsc [email protected] | grep -E 'ups.status|battery.charge|battery.runtime|ups.load|input.voltage'
Cú pháp CANCEL-TIMER timername [cmd] (man upssched.conf): nếu bộ đếm đã chạy xong, lệnh cmd được gọi. Vì vậy dòng AT ONLINE * CANCEL-TIMER onbatt-warn online chỉ gửi thư "điện lưới đã trở lại" khi trước đó thư "chạy bằng pin" đã gửi (bỏ qua mất điện thoáng qua dưới 30 giây).
Gán tag cắt tải cho VM không thiết yếu (VM thử nghiệm, build, v.v.), không gán cho VM trong chuỗi Mailu/Pi-hole/step-CA:
qm set 9999 --tags ups-shed # ví dụ; tag cách nhau bằng dấu ;
pvesh get /cluster/resources --type vm --output-format json | jq -r '.[] | select((.tags // "") | contains("ups-shed")) | .vmid'
7.6 Kiểm tra theo ba mức (không cắt điện thật)
| Mức | Cách làm | Kiểm tra gì |
|---|---|---|
1. Mô phỏng (lab ảo, dummy-ups) | Sửa ups.status trong /etc/nut/ups01.dev | Thư, bộ đếm shed, restore, chuỗi FSD |
| 2. Chạy khô (UPS thật) | Cờ dry-run + upsmon -c fsd | Chuỗi FSD tới mọi node mà không tắt gì |
| 3. Cắt điện thật | Rút nguồn lưới của UPS trong cửa sổ bảo trì, trên staging trước | Thời gian tắt thật, thứ tự, khôi phục |
# Mức 1+2 — trên MỌI node: bật cờ chạy khô để script chỉ ghi log
touch /var/lib/pve-ups/dry-run
# Mô phỏng mất điện (chỉ với dummy-ups): trên node1
sed -i 's/^ups.status:.*/ups.status: OB/' /etc/nut/ups01.dev
# +30 giây: thư "đang chạy bằng pin"; +2 phút: pve-ups shed (log DRY_RUN)
journalctl -t pve-ups -t upssched-cmd -f &
# Pin yếu -> FSD
sed -i 's/^ups.status:.*/ups.status: OB LB/' /etc/nut/ups01.dev
# Với UPS thật (mức 2) thay bước trên bằng: upsmon -c fsd (CHỈ khi dry-run đã bật trên mọi node)
# Điện về
sed -i 's/^ups.status:.*/ups.status: OL/' /etc/nut/ups01.dev
Mong đợi (mẫu): trên node1 log có [DRY_RUN] ha-manager set vm:… --state stopped, [DRY_RUN] pvesh create /nodes/node2/stopall …, [DRY_RUN] ceph osd set noout, [DRY_RUN] pvesh create /nodes/node4/status --command shutdown, Tắt node node1 (cuối cùng); trên node2–4 log [DRY_RUN] sẽ tắt sau 480s. Xong gỡ cờ trên mọi node: rm -f /var/lib/pve-ups/dry-run.
upsmon -c fsd trên cluster thật không bật cờ chạy khô sẽ tắt toàn bộ cụm. Kiểm tra ls /var/lib/pve-ups/dry-run trên cả 4 node trước khi chạy. Mức 3 làm đầu tiên trên cluster staging; trên production chỉ làm khi có kế hoạch và người trực.
7.7 Bật lại sau khi có điện
- BIOS/iDRAC: đặt "Restore on AC Power Loss" = Power On để node tự khởi động khi điện lưới (qua UPS) trở lại. Lưu ý: nếu điện lưới đã về trước khi node tắt hẳn, UPS chưa mất nguồn nên node không tự bật; muốn tự bật phải để UPS tắt rồi bật lại tải (NUT
POWERDOWNFLAGvà lệnhupsdrvctl shutdownở giai đoạn cuối; một số UPS/NMC không hỗ trợ, cần kiểm lại trên máy thật) hoặc bật tay qua iDRAC/IPMI. - Thứ tự khởi động: các node có MON lên trước (ở HOATRANHUB cả 4 node đều có MON), node1 chạy
pve-ups-recover.service: chờ quorum và đủ OSDuprồi bỏnooutvà bật lại guest. - Kiểm tra:
journalctl -u pve-ups-recover -b,pvecm status,ceph -s(chỉ còn cảnh báonooutcho tới khi script bỏ cờ),ha-manager status, và các VM nền tảng (Pi-hole, Mailu, step-CA) đã chạy. - Nếu
pve-ups-recoverbáo lỗi: xử lý tay rồiceph osd unset noout,rm /var/lib/pve-ups/shutdown.flag(runbook bài 11).
7.8 Quy mô và bảo mật NUT
-
upsdtruyền dạng rõ trong mạng. Bản NUT của Debian dùng NSS cho TLS (gói phụ thuộclibnss3), cấu hình bằngCERTPATH/CERTIDENT; chưa xác minh cách tạo cơ sở NSS từ step-CA, nên bài coi VLAN 45 là vùng tin cậy và giới hạn bằng firewall. Mật khẩu tách riêng choadmin,upsmon-primary,upsmon-secondary. - Nhiều UPS/rack: mỗi UPS một
upsd(hoặc mộtupsdquản nhiều[upsNN]trongups.conf) và chỉ các node cùng nguồn làmsecondary. Sinhupsmon.confbằng Ansible template theoinventory(mục 9) để mỗi node trỏ đúng UPS của rack. - Mỗi cluster có script
pve-upsriêng (danh sách node lấy từpvesh get /nodes, không viết cứng).
7.9 NAS và thiết bị khác
NAS syno-primary (10.11.45.16) và pbsdr01/NAS site phụ có cơ chế UPS riêng của hãng. Với Synology DSM 7 trang UPS (Control Panel → Hardware & Power) cho đặt thời gian vào chế độ an toàn và chế độ client mạng; việc DSM đóng vai client của NUT server bên thứ ba và cách xác thực chưa được xác minh (một số hướng dẫn cộng đồng đề cập tài khoản cố định, cần kiểm lại trên máy thật). Nguyên tắc: NAS chứa datastore PBS phải tắt sau pbs01 (VM101 là guest nên đã dừng ở bước dừng guest của script). Nếu NAS hay PBS vật lý làm client NUT thì bỏ dấu # ở dòng rule 3493 dành cho IP của nó trong host.fw của node1 (mục 7.2); mọi nguồn khác không được phép.
Tích hợp Prometheus và Alertmanager (làm sau bài 15 và bài 37)
Đã có ở bài 15 Bước 11 và điều kiện phía bài 10 · Ceph: module prometheus của mgr · SMART: smartctl_exporter trên từng node
Luồng 2 theo dõi xu hướng và ngưỡng sớm, tập trung nhiều cluster, và gửi qua Alertmanager (container alertmanager trên VM235, đã có route Mattermost ở bài 37 mục 4.4 cho severity là critical hoặc warning). Phần cài exporter cho PVE và UPS đã nằm ở bài 15, Bước 11; mục này chỉ nêu điều kiện phía bài 10 và thêm exporter/rule cho Ceph, SMART, UPS. Mọi chỉnh sửa vào prometheus.yml là gộp thêm job vào file đã tạo ở bài 15, không ghi đè.
8.1 Đã có ở bài 15 Bước 11 và điều kiện phía bài 10
| Job (bài 15) | Exporter | Điều kiện phía bài 10 |
|---|---|---|
pve, pve-per-node | prometheus-pve-exporter 3.10.1 (container pve-exporter, cổng 9221) | Token svc-monitoring@pve!prometheus có quyền đọc (bài 08); rule sg-pve-integr của bài 05 cho VM235 10.11.45.35 vào cổng 8006 (bật khi làm bài 15) |
nut | nut_exporter 3.3.0 (container nut-exporter, cổng 9199) | upsd nghe 10.11.45.210:3493 và firewall node1 mở cho 10.11.45.35 (mục 7.2); UPS tên ups01 |
Kiểm tra ở Prometheus UI → Status → Targets: pve, pve-per-node (4 target) và nut ở trạng thái UP. nut_exporter không cần user NUT: đọc biến UPS qua upsd không đòi xác thực, quyền truy cập do firewall quyết định. Rule PVENodeDown và NutExporterDown đã có ở bài 15 (/opt/prometheus/rules/proxmox.yml); các rule dưới đây đặt vào tệp mới để không trùng.
8.2 Ceph: module prometheus của mgr
ceph mgr module enable prometheus
ceph config get mgr mgr/prometheus/server_port # 9283 mặc định
curl -s http://10.11.45.210:9283/metrics | grep -E '^ceph_health_status|^ceph_osd_up' | head -5
Cổng 9283 do mgr đang active phục vụ (bài 03: mgr active trên node1, standby trên node2). Bài 05 đã soạn sẵn rule 9283 trong nhóm sg-pve-integr (đang tắt): bật nó bằng Datacenter → Firewall → Security Group → sg-pve-integr (chọn rule, bật) hoặc bỏ dấu | đầu dòng trong /etc/pve/firewall/cluster.fw. Rồi thêm job vào prometheus.yml trên VM235 và reload:
- job_name: 'ceph'
honor_labels: true
static_configs:
- targets: ['10.11.45.210:9283', '10.11.45.211:9283'] # mgr active + standby
curl -X POST http://10.11.45.35:9090/-/reload
8.3 SMART: smartctl_exporter trên từng node
smartctl_exporter 0.15.0 (prometheus-community) cần chạy bằng root (README: người dùng thường không gửi được lệnh ATA tới ổ SATA), cổng mặc định 9633. Cài trên từng node (Ansible ở mục 9; kiểm tra tên thư mục trong tarball bằng tar tzf trước khi chép):
V=0.15.0; cd /tmp
BASE="https://github.com/prometheus-community/smartctl_exporter/releases/download/v${V}"
curl -fsSLO "$BASE/smartctl_exporter-${V}.linux-amd64.tar.gz" -O "$BASE/sha256sums.txt"
grep 'linux-amd64.tar.gz' sha256sums.txt | sha256sum -c - # phải in OK
tar xzf "smartctl_exporter-${V}.linux-amd64.tar.gz"
install -m 755 "smartctl_exporter-${V}.linux-amd64/smartctl_exporter" /usr/local/bin/
cat > /etc/systemd/system/smartctl_exporter.service << 'EOF'
[Unit]
Description=smartctl_exporter (SMART cho Prometheus)
After=network-online.target
[Service]
User=root
ExecStart=/usr/local/bin/smartctl_exporter --web.listen-address=:9633 --smartctl.interval=60s
Restart=on-failure
NoNewPrivileges=yes
ProtectHome=yes
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload && systemctl enable --now smartctl_exporter
curl -s localhost:9633/metrics | grep -c '^smartctl_'
Cổng 9633 chưa có trong bài 05, nên thêm một rule vào nhóm sg-pve-integr (áp cho mọi node), chỉ cho Prometheus; sau đó thêm job:
cp -a /etc/pve/firewall/cluster.fw /root/cluster.fw.bak-$(date +%F)
sed -i '/^\[group sg-pve-integr\]/a IN ACCEPT -source prometheus -p tcp -dport 9633 # smartctl_exporter (bài 10)' /etc/pve/firewall/cluster.fw
pve-firewall compile 1>/dev/null && echo "cú pháp ổn"
- job_name: 'smartctl'
static_configs:
- targets: ['10.11.45.210:9633', '10.11.45.211:9633', '10.11.45.212:9633', '10.11.45.213:9633']
Trên lab ảo exporter không có số liệu SMART (ổ không hỗ trợ), nên các rule SMART chỉ kiểm được trên máy thật.
8.4 Rule cảnh báo mẫu
Đặt ba tệp vào /opt/prometheus/rules/ (VM235) rồi kiểm tra cú pháp và nạp lại. Tên metric kiểm lại trên /metrics của đúng phiên bản exporter đang chạy (nhất là smartctl_* và nhãn flag của nut_exporter):
cat > /opt/prometheus/rules/ceph.yml << 'EOF'
groups:
- name: ceph
rules:
- {alert: CephHealthError, expr: 'ceph_health_status == 2', for: 1m, labels: {severity: critical}, annotations: {summary: "Ceph HEALTH_ERR (xem ceph health detail)"}}
- {alert: CephHealthWarn, expr: 'ceph_health_status == 1', for: 15m, labels: {severity: warning}, annotations: {summary: "Ceph HEALTH_WARN kéo dài hơn 15 phút"}}
- {alert: CephOsdDown, expr: 'ceph_osd_up == 0', for: 5m, labels: {severity: critical}, annotations: {summary: "OSD {{ $labels.ceph_daemon }} down"}}
- {alert: CephOsdFull, expr: 'ceph_health_detail{name=~"OSD_FULL|OSD_BACKFILLFULL"} == 1', labels: {severity: critical}, annotations: {summary: "OSD vượt backfillfull/full: VM sắp treo I/O"}}
- {alert: CephOsdNearFull, expr: 'ceph_health_detail{name="OSD_NEARFULL"} == 1', labels: {severity: warning}, annotations: {summary: "OSD vượt nearfull (85%)"}}
# 4 node, mỗi node 1 OSD SSD + 1 OSD HDD (mỗi class 1 OSD/node): mất 1 node thì mức dùng OSD cùng class nhân 4/3; giữ dưới 0.85*3/4 ≈ 64% (mục 5.1). Rule gộp cả hai class
- {alert: CephOsdUsageN1, expr: '(ceph_osd_stat_bytes_used / ceph_osd_stat_bytes) > 0.60', for: 30m, labels: {severity: warning}, annotations: {summary: "{{ $labels.ceph_daemon }} dùng trên 60%: mất 1 node sẽ chạm nearfull"}}
- {alert: CephMonOutOfQuorum, expr: 'count(ceph_mon_quorum_status == 0) > 0', for: 5m, labels: {severity: warning}, annotations: {summary: "Có MON ngoài quorum"}}
EOF
cat > /opt/prometheus/rules/smart.yml << 'EOF'
groups:
- name: smart
rules:
- {alert: SmartHealthFailed, expr: 'smartctl_device_smart_status == 0', for: 5m, labels: {severity: critical}, annotations: {summary: "SMART FAILED: {{ $labels.instance }} {{ $labels.device }}"}}
- {alert: DiskTemperatureHigh, expr: 'smartctl_device_temperature{temperature_type="current"} > 60', for: 15m, labels: {severity: warning}, annotations: {summary: "Nhiệt độ ổ cao: {{ $labels.instance }} {{ $labels.device }}"}}
- {alert: NvmeWearHigh, expr: 'smartctl_device_percentage_used > 80', for: 1h, labels: {severity: warning}, annotations: {summary: "NVMe đã dùng trên 80% tuổi thọ: {{ $labels.instance }} {{ $labels.device }}"}}
- {alert: NvmeCriticalWarning, expr: 'smartctl_device_critical_warning > 0', labels: {severity: critical}, annotations: {summary: "NVMe Critical Warning: {{ $labels.instance }} {{ $labels.device }}"}}
- {alert: SmartExporterDown, expr: 'up{job="smartctl"} == 0', for: 10m, labels: {severity: warning}, annotations: {summary: "Không đọc được smartctl_exporter trên {{ $labels.instance }}"}}
EOF
cat > /opt/prometheus/rules/ups.yml << 'EOF'
groups:
- name: ups
rules:
- {alert: UpsOnBattery, expr: 'network_ups_tools_ups_status{flag="OB"} == 1', for: 30s, labels: {severity: critical}, annotations: {summary: "ups01 đang chạy bằng pin (mất điện lưới)"}}
- {alert: UpsLowBattery, expr: 'network_ups_tools_ups_status{flag="LB"} == 1', labels: {severity: critical}, annotations: {summary: "ups01 pin yếu: cluster đang/sắp tắt có thứ tự"}}
- {alert: UpsReplaceBattery, expr: 'network_ups_tools_ups_status{flag="RB"} == 1', for: 1h, labels: {severity: warning}, annotations: {summary: "ups01 báo cần thay pin"}}
- {alert: UpsLoadHigh, expr: 'network_ups_tools_ups_load > 80', for: 10m, labels: {severity: warning}, annotations: {summary: "Tải ups01 trên 80%: thời gian chạy pin ngắn hơn tính toán"}}
EOF
docker exec prometheus promtool check rules /etc/prometheus/rules/ceph.yml /etc/prometheus/rules/smart.yml /etc/prometheus/rules/ups.yml
curl -X POST http://10.11.45.35:9090/-/reload
Mô phỏng để thấy cảnh báo chạy: với dummy-ups (mục 7.2) đổi ups.status sang OB ≥ 30 giây: UpsOnBattery chuyển Pending → Firing ở Alerts, và Alertmanager gửi thư/tin sau group_wait (30 giây, bài 15). Nhớ đặt lại OL. Rule CephOsdUsageN1 tạm đổi ngưỡng xuống thấp hơn mức dùng hiện tại để thử rồi trả về 0.60.
8.5 Gotify cho cảnh báo nghiêm trọng (tuỳ chọn)
Alertmanager không có receiver Gotify gốc; dùng cầu nối alertmanager_gotify_bridge của DRuggeri (nhận webhook Alertmanager rồi gọi API Gotify; tiêu đề lấy từ annotation summary, nội dung từ description, độ ưu tiên từ priority). Thêm service vào compose của VM235 (tạo app Gotify riêng tên alertmanager để lấy token; ghim phiên bản trước khi dùng thật):
gotify-bridge:
image: druggeri/alertmanager_gotify_bridge:latest # ghim tag đã kiểm tra
container_name: gotify-bridge
restart: unless-stopped
environment:
- GOTIFY_ENDPOINT=http://10.11.45.36:3002/message
- GOTIFY_TOKEN=<GOTIFY_APP_TOKEN>
networks:
- monitoring
Và gộp vào alertmanager.yml (cùng khối receivers: và route: đã có, như bài 37 mục 4.4): receiver gotify-critical với webhook_configs: - url: 'http://gotify-bridge:8080/gotify_webhook', cùng một route con matchers: [severity="critical"], receiver: gotify-critical, continue: true đặt trước các route đang có. Nạp lại: cd /opt/prometheus && docker compose up -d && docker compose restart alertmanager.
Quy mô lớn: Ansible và API
Nguyên tắc cho nhiều node/cluster: (1) một nguồn sự thật trong Git (Gitea, bài 22); (2) cấu hình thông báo là cấp cluster nên chạy trên một node mỗi cluster; (3) cấu hình smartd, nut, smartctl_exporter là cấp node, sinh từ template theo lớp phần cứng và theo UPS của rack; (4) bí mật (mật khẩu SMTP, token Gotify, hook Mattermost) trong Ansible Vault; (5) lệnh phải idempotent. Chạy từ ops01 (VM290, bài 07) hoặc máy quản trị bất kỳ có SSH tới node.
Tệp pve-notify-apply.sh — "upsert" target và matcher (có rồi thì set, chưa có thì create); bí mật truyền bằng biến môi trường:
#!/usr/bin/env bash
# pve-notify-apply — cấu hình thông báo cấp cluster, chạy lại nhiều lần cho cùng kết quả
set -euo pipefail
: "${SMTP_PASS:?cần SMTP_PASS}"
SMTP_SERVER=${SMTP_SERVER:-mailu.hoatranlabs.local}; SMTP_USER=${SMTP_USER:[email protected]}
SMTP_TO=${SMTP_TO:[email protected]}; CLUSTER_NAME=${CLUSTER_NAME:-HOATRANHUB}
b64() { printf '%s' "$1" | base64 -w0; }
upsert() { # upsert <loại> <tên> <tham số...>
local kind=$1 name=$2; shift 2
if pvesh get "/cluster/notifications/$kind/$name" >/dev/null 2>&1; then
pvesh set "/cluster/notifications/$kind/$name" "$@" >/dev/null
else
pvesh create "/cluster/notifications/$kind" --name "$name" "$@" >/dev/null
fi
echo "ok: $kind/$name"
}
upsert endpoints/smtp mailu-pve --server "$SMTP_SERVER" --port 587 --mode starttls \
--username "$SMTP_USER" --password "$SMTP_PASS" --from-address "$SMTP_USER" \
--author "PVE $CLUSTER_NAME" --mailto "$SMTP_TO"
[ -n "${GOTIFY_TOKEN:-}" ] && upsert endpoints/gotify gotify-ops \
--server "${GOTIFY_URL:-http://10.11.45.36:3002}" --token "$GOTIFY_TOKEN"
[ -n "${MM_HOOK_ID:-}" ] && upsert endpoints/webhook mattermost-alerts --method post \
--url 'https://mattermost.hoatranlabs.local/hooks/{{ secrets.hook }}' \
--header "name=Content-Type,value=$(b64 application/json)" --secret "name=hook,value=$(b64 "$MM_HOOK_ID")" \
--body "$(b64 '{"username":"Proxmox VE","text":"**[{{ severity }}]** {{ escape title }}\n{{ escape message }}"}')"
pvesh set /cluster/notifications/matchers/default-matcher --target mailu-pve >/dev/null && echo "ok: default-matcher"
if [ -n "${GOTIFY_TOKEN:-}" ] && [ -n "${MM_HOOK_ID:-}" ]; then
upsert matchers m-push-error --match-severity error --target gotify-ops --target mattermost-alerts
upsert matchers m-push-system-mail --match-field exact:type=system-mail --target mattermost-alerts
fi
pvesh set /cluster/options --notify package-updates=always
for id in $(pvesh get /cluster/backup --output-format json | jq -r '.[].id'); do
pvesh set "/cluster/backup/$id" --notification-mode notification-system
done
Playbook (inventory: nhóm pve_leaders gồm đúng một node mỗi cluster; nhóm pve_all gồm mọi node):
# site-notify.yml
- name: Thông báo cấp cluster (1 node mỗi cluster)
hosts: pve_leaders
become: true
vars_files: [vault.yml] # smtp_pass, gotify_token, mm_hook_id (ansible-vault encrypt vault.yml)
tasks:
- ansible.builtin.copy: {src: pve-notify-apply.sh, dest: /usr/local/sbin/pve-notify-apply, mode: "0750"}
- ansible.builtin.package: {name: [jq, bsd-mailx], state: present}
- name: Áp dụng target và matcher
ansible.builtin.command: /usr/local/sbin/pve-notify-apply
environment:
SMTP_PASS: "{{ smtp_pass }}"
GOTIFY_TOKEN: "{{ gotify_token | default('') }}"
MM_HOOK_ID: "{{ mm_hook_id | default('') }}"
CLUSTER_NAME: "{{ cluster_name }}"
no_log: true
changed_when: true
- name: Cấu hình cấp node (smartd, CA, smartctl_exporter)
hosts: pve_all
become: true
serial: 10 # cuốn chiếu 10 node mỗi lượt
tasks:
- ansible.builtin.copy: {src: hoatranlabs-root.crt, dest: /usr/local/share/ca-certificates/hoatranlabs-root.crt, mode: "0644"}
notify: update-ca
- ansible.builtin.template: {src: smartd.conf.j2, dest: /etc/smartd.conf, backup: true}
notify: restart-smartd
handlers:
- {name: update-ca, ansible.builtin.command: update-ca-certificates}
- {name: restart-smartd, ansible.builtin.service: {name: smartmontools, state: restarted}}
smartd.conf.j2 sinh dòng theo ổ thật trên từng node (long_test_day là biến host, node1 = 1, node2 = 2…):
{% for name, d in ansible_devices.items() | sort if name is match('^sd[a-z]+$') and d.removable == '0' %}
/dev/{{ name }} -d auto -a -o on -S on -n standby,q -s (S/../.././05|L/../{{ '%02d' % long_test_day }}/./05) -W 4,50,60 -m root -M exec /usr/share/smartmontools/smartd-runner
{% endfor %}
{% for name, d in ansible_devices.items() | sort if name is match('^nvme[0-9]+n1$') %}
/dev/{{ name[:-2] }} -d nvme -H -l error -W 0,70,80 -m root -M exec /usr/share/smartmontools/smartd-runner
{% endfor %}
DEVICESCAN -d removable -a -n standby,q -m root -M exec /usr/share/smartmontools/smartd-runner
Template tương tự cho /etc/nut/upsmon.conf của node secondary (biến ups_name, nut_host theo rack) và đơn vị smartctl_exporter. Không dùng ansible_devices cho ổ sau RAID cứng: khai báo thủ công -d megaraid,N trong biến host.
Qua API, không SSH (hợp cho hàng trăm cluster, gọi từ ops01): token svc-automation@pve!ansible (bài 08) cần quyền Mapping.Modify tại /mapping/notifications (cấu hình thông báo) và Sys.Modify tại / (tuỳ chọn cluster):
curl --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
-H "Authorization: PVEAPIToken=svc-automation@pve!ansible=${PVE_TOKEN_SECRET}" \
https://node1.hoatranlabs.local:8006/api2/json/cluster/notifications/targets
Với PDM (bài 04) quản lý tập trung nhiều cluster, thông báo vẫn cấu hình trong từng cluster; phần PDM có hệ thống thông báo riêng hay không cần kiểm lại theo bản PDM đang chạy.
Troubleshooting
| Triệu chứng | Nguyên nhân | Cách xử lý |
|---|---|---|
| Test SMTP báo lỗi chứng chỉ (certificate verify failed) | Node chưa tin cậy root CA step-CA, hoặc tên Server không có trong SAN | update-ca-certificates (mục 2.4); dùng đúng FQDN mailu.hoatranlabs.local; kiểm openssl s_client -starttls smtp ... -CAfile |
Test báo 535 / authentication failed | Sai user hoặc mật khẩu; Mailu giới hạn tốc độ đăng nhập | Kiểm hộp thư ở Mailu Admin; From phải trùng tài khoản xác thực; xem AUTH_RATELIMIT_* ở bài 16 |
| Test OK nhưng sự kiện thật không có thư | Target không nằm trong matcher, matcher bị disable, hoặc quy tắc sai | pvesh get /cluster/notifications/matchers; matcher không quy tắc thì luôn khớp |
| Backup xong vẫn gửi thư kiểu cũ hoặc không gửi | Job ở notification-mode auto và còn mailto | Đặt notification-system, xoá mailto (mục 4.1) |
| Không bao giờ nhận thông báo cập nhật gói | notify package-updates=auto chỉ cho node có subscription | pvesh set /cluster/options --notify package-updates=always (mục 4.3) |
| Thư SMART/Ceph/NUT không tới | Chuỗi root → .forward → proxmox-mail-forward hỏng; thiếu lệnh mail | cat /root/.forward; grep ^root: /etc/aliases; mailq; journalctl -t proxmox-mail-forward |
Thư system-mail tới nhưng matcher match-severity không bắt | Mức unknown | Dùng match-field exact:type=system-mail |
| Mailu bảo trì, thư biến mất | Target smtp không có hàng đợi | Dùng phương án C (mục 2.3) hoặc kênh thứ hai Gotify/Mattermost |
ceph alerts send không ra thư | Module chưa bật; Postfix loopback không nhận; smtp_destination sai | ceph mgr module ls; ceph config dump (lọc dòng alerts); journalctl -u ceph-mgr@$(hostname -s); thử gửi echo test bằng mail -s t root |
smartd không theo dõi ổ, log "SMART support is: Unavailable" | Ổ ảo (lab) hoặc ổ sau RAID | Máy thật: -d megaraid,N/-d sat; lab: bỏ qua, chỉ thử đường thư (mục 6.4) |
smartd không khởi động sau khi sửa /etc/smartd.conf | Sai cú pháp, -s không đủ 12 ký tự | smartd -q showtests -c /etc/smartd.conf hiện dòng lỗi; khôi phục từ bản .bak |
upsc báo Connection refused | upsd chỉ nghe 127.0.0.1 hoặc firewall | ss -ltnp (dòng cổng 3493); LISTEN 10.11.45.210 3493, systemctl restart nut-server; rule NUT trong host.fw của node1 còn tắt (dòng đang bắt đầu bằng ký tự gạch đứng; mục 7.2, bài 05 mục 5.1) |
upsc báo Data stale / driver not connected | Driver không đọc được UPS | systemctl status 'nut-driver@ups01'; thử upsdrvctl start; SNMP: sai secName/mật khẩu hoặc NMC chưa bật SNMPv3 |
| Secondary: Login failed / Access denied | Mật khẩu upsmon-secondary khác upsd.users | Sửa cho khớp, systemctl restart nut-server nut-monitor |
| Sự kiện UPS có log nhưng không có thư/cắt tải | Thiếu /run/nut/upssched, sudoers sai, NOTIFYCMD sai | ls -ld /run/nut/upssched; sudo -u nut sudo -n /usr/local/sbin/pve-ups restore; journalctl -t upssched-cmd |
| Sau bật lại, VM HA không tự chạy | Trạng thái HA là stopped (đúng với docs PVE) và pve-ups-recover chưa/không chạy | journalctl -u pve-ups-recover -b; ha-manager set vm:<id> --state started |
HEALTH_WARN noout flag(s) set kéo dài | Quên bỏ cờ sau bảo trì/tắt cụm | Khi mọi OSD up: ceph osd unset noout |
OSD đầy (OSD_FULL), VM treo ghi | Ceph chặn ghi ở 95% | Khẩn cấp: ceph osd set-full-ratio 0.97 tạm thời để mở ghi, giải phóng dung lượng/thêm OSD ngay, rồi đặt lại 0.95 (bài 11) |
Checklist nghiệm thu
Thông báo PVE
- Hộp thư
[email protected]tồn tại (bài 16 mục 6) hoặc đã chọn relay ngoài; root CA được tin cậy trên cả 4 node - Target
mailu-pvetạo xong, nút Test gửi được thư tới[email protected];default-matchertrỏ tớimailu-pve - Target
gotify-ops,mattermost-alerts(nếu đã có bài 15/37) Test thành công; matcherm-push-error,m-push-system-mailtồn tại - Mọi backup job đặt
notification-mode notification-system; chạy thử một job có thưtype=vzdump -
notify package-updates=alwaysđã đặt;echo test | mail -s test rootđi tới email và Mattermost quasystem-mail
Ceph và SMART
- Biết ngưỡng
ceph osd dump | grep ratio(0.85 / 0.90 / 0.95) và mức dùng mỗi OSD thấp hơn giới hạn N−1 (mục 5.1) - Module
alertsbật,ceph alerts sendra thư; dòngflagscủaceph osd dumpkhông cònnooutngoài lúc bảo trì -
/etc/smartd.confchuẩn hoá trên mọi node,smartd -q showtestsliệt kê lịch test; thư thử SMART tới email (máy thật:-M test; lab ảo: thư giả lập)
UPS / NUT
-
upsc [email protected]trảups.status,battery.charge,battery.runtime; node2–4 thấy cùng UPS -
upsdchỉ nghe loopback và10.11.45.210; rule NUT của bài 05 (mục 5.1) đã bật, chỉipset-pve-nodes,prometheus(và NAS/PBS vật lý nếu là client) vào cổng 3493; mật khẩu NUT/SNMP riêng, lưu trong Vaultwarden, không nằm trong Git -
pve-ups,upssched,pve-ups-secondary,pve-ups-recover.serviceđã cài; cờdry-runđã gỡ sau khi thử; guest không thiết yếu có tagups-shed;startall-onboot-delayđã đặt - Đã thử mức 1 (mô phỏng) và mức 2 (chạy khô); mức 3 làm ở staging và ghi lại thời gian tắt thật
- BIOS "Restore on AC Power Loss" = Power On; thời gian chạy pin ≥ 25 phút ở tải thực tế
Prometheus / Alertmanager và quy mô
- Targets
pve,pve-per-node,nut,ceph,smartctlđều UP;promtool check rulessạch; thửUpsOnBatterybằngdummy-upsra thư/tin Mattermost - Cấu hình thông báo,
smartd.conf,upsmon.confsinh từ Ansible (Git + Vault) và chạy lại không đổi gì (idempotent)
Tài liệu tham khảo
Proxmox VE
- Hệ thống thông báo (target, matcher, sự kiện): https://pve.proxmox.com/pve-docs/chapter-notifications.html và https://pve.proxmox.com/wiki/Notifications
- API Viewer (mọi tham số
/cluster/notifications/*,/cluster/options,/nodes/{node}/stopall...): https://pve.proxmox.com/pve-docs/api-viewer/index.html - HA Manager (shutdown policy, node maintenance, disarm HA): https://pve.proxmox.com/pve-docs/chapter-ha-manager.html
- Ceph trong PVE (Shutdown Proxmox VE + Ceph HCI cluster, Monitoring and Troubleshooting): https://pve.proxmox.com/pve-docs/chapter-pveceph.html
- Disk Health Monitoring (smartd mặc định): https://pve.proxmox.com/pve-docs/chapter-sysadmin.html
- Cluster Manager (số node, QDevice): https://pve.proxmox.com/pve-docs/chapter-pvecm.html
- Diễn đàn: chuyển thư root sang thông báo https://forum.proxmox.com/threads/notification-mystery.154336/ ; tắt node phụ qua SSH khi có UPS https://forum.proxmox.com/threads/ups-nuts-client-to-shutdown-other-node-in-cluster-not-ha.181006/
Ceph (Tentacle)
- Module
alerts: https://docs.ceph.com/en/tentacle/mgr/alerts/ - Health checks: https://docs.ceph.com/en/tentacle/rados/operations/health-checks/
- Device health: https://docs.ceph.com/en/tentacle/rados/operations/devices/ và https://docs.ceph.com/en/tentacle/mgr/diskprediction/
- Module
prometheus: https://docs.ceph.com/en/tentacle/mgr/prometheus/ - Ngưỡng dung lượng (
mon_osd_*_ratio): https://docs.ceph.com/en/tentacle/rados/configuration/mon-config-ref/
SMART
-
smartd.conf(5)(smartmontools 7.4, Debian trixie): https://manpages.debian.org/trixie/smartmontools/smartd.conf.5.en.html - Gói Debian: https://packages.debian.org/trixie/smartmontools
-
smartd-runnercủa Debian: https://sources.debian.org/data/main/s/smartmontools/7.4-3/debian/smartd-runner
NUT
-
ups.conf: https://networkupstools.org/docs/man/ups.conf.html ;upsd.conf: https://networkupstools.org/docs/man/upsd.conf.html ;upsd.users: https://networkupstools.org/docs/man/upsd.users.html -
upsmon.conf: https://networkupstools.org/docs/man/upsmon.conf.html ;upssched.conf: https://networkupstools.org/docs/man/upssched.conf.html ;nut.conf: https://networkupstools.org/docs/man/nut.conf.html - Driver SNMP: https://networkupstools.org/docs/man/snmp-ups.html ; driver mô phỏng: https://networkupstools.org/docs/man/dummy-ups.html
- Gói Debian 13: https://packages.debian.org/trixie/nut-server , https://packages.debian.org/trixie/amd64/nut-client/filelist , https://packages.debian.org/trixie/amd64/nut-snmp/filelist
- Synology DSM, trang UPS: https://kb.synology.com/en-id/DSM/help/DSM/AdminCenter/system_hardware_ups?version=7
Exporter và cảnh báo
- prometheus-pve-exporter: https://github.com/prometheus-pve/prometheus-pve-exporter và https://pypi.org/project/prometheus-pve-exporter/
- nut_exporter: https://github.com/DRuggeri/nut_exporter ; smartctl_exporter: https://github.com/prometheus-community/smartctl_exporter
- Cầu nối Alertmanager → Gotify: https://github.com/DRuggeri/alertmanager_gotify_bridge
SMTP ngoài miễn phí
- Brevo SMTP relay (gói miễn phí): https://www.brevo.com/free-smtp-server
Bài liên quan trong bộ bài
- Bài 03 (Cluster + Ceph + HA), bài 04 (PBS, PDM), bài 05 (Firewall), bài 06 (Cập nhật cuốn chiếu), bài 07 (ops01), bài 08 (RBAC, token), bài 09 (ACME, root CA), bài 11 (Runbook sự cố), bài 13 (step-CA), bài 15 (Prometheus, Gotify, Bước 11), bài 16 (Mailu, mục 6 và 8.5), bài 37 (Mattermost).