System & Network Firewall & Hardening
Bài 05 · Giai đoạn 1 — Vận hành & Bảo mật Proxmox

Firewall Proxmox + Hardening SSH/8006

Firewall 3 tầng (Datacenter, Node, VM), IPSet/Security Group, khóa SSH và cổng 8006 cho 1 đến hàng trăm node.

Giai đoạn: Vận hành & Bảo mật Proxmox

Bối cảnh & Lý do triển khai

Vị trí trong chuỗi bài: Bài 05 thuộc Giai đoạn 1 — Vận hành & Bảo mật Proxmox, nối tiếp Bài 04. Triển khai PBS + PDM và đứng trước Bài 06. Rolling Update + Ceph.
Mức độ cần thiết: 🔴 Rất quan trọng — Hypervisor là mục tiêu giá trị nhất của hạ tầng: chiếm được một node Proxmox là chạm được mọi VM, đĩa Ceph và cả kho backup

Sau bài 02–04, lab đã có cụm HOATRANHUB 4 node chạy Ceph + HA, PBS và PDM nhưng mọi cổng quản trị vẫn đang mở: firewall Proxmox mặc định TẮT hoàn toàn, WebUI cổng 8006 và SSH cổng 22 nhận kết nối từ bất cứ đâu route tới được, và sshd cho phép root đăng nhập bằng mật khẩu (tài liệu cluster của PVE nêu rõ cấu hình này). Bài này dựng ba lớp phòng thủ cho host: (1) firewall tích hợp 3 tầng Datacenter → Node → VM/CT với rule tối thiểu quyền; (2) hardening truy cập quản trị (SSH chỉ dùng khoá, 8006 chỉ từ dải quản trị, 2FA, fail2ban); (3) hardening hệ điều hành host (dịch vụ thừa, sysctl, cập nhật bảo mật có kiểm soát, audit, sao lưu cấu hình /etc/pve).

Điểm khó nhất của bài không phải là viết rule mà là không tự khoá mình: firewall bật sai là mất WebUI, mất SSH, thậm chí mất quorum corosync và Ceph. Vì vậy mọi bước đều theo thứ tự: soạn cấu hình khi firewall còn TẮT → dry-run bằng pve-firewall compile/simulate → bật trên một node canary có công tắc tự gỡ → bật toàn cụm → mới siết SSH và 8006. FortiGate (10.100.100.1, gateway mỗi VLAN là .1) lo ranh giới giữa các VLAN và site; firewall của PVE lo phần FortiGate không nhìn thấy: bản thân node và lưu lượng giữa các VM cùng VLAN.

MụcNội dung
Ứng dụng trong DNCô lập mặt phẳng quản trị Proxmox (8006/22) khỏi mạng người dùng và máy chủ ứng dụng; micro-segmentation giữa các VM cùng VLAN; đáp ứng yêu cầu kiểm toán (least privilege, 2FA, nhật ký truy cập) cho hạ tầng ảo hoá
Tác dụng chínhBộ rule chuẩn cho cluster 4 node (corosync, Ceph, migration, API); VM firewall mẫu cho pbs01; SSH key-only + AllowGroups; ALLOW_FROM cho pveproxy; fail2ban cho 8006/22; sysctl, auditd, tắt dịch vụ thừa; sao lưu config.db lên PBS; quy trình áp dụng bằng Ansible cho nhiều cluster
Nếu không triển khaiMột VM bị chiếm quyền cùng VLAN 45 có thể dò mật khẩu root của node; lộ 8006/22 ra VLAN khác là bề mặt tấn công trực tiếp vào hypervisor; không có nhật ký truy cập để điều tra sự cố
Các service phụ thuộc vào đâyBài 06 (cập nhật cuốn chiếu giả định firewall đã ổn định), bài 07 (ops01 là nguồn quản trị trong mgmt-admins; template VM dùng chung mẫu VM firewall), bài 08 (RBAC/OIDC + 2FA), bài 09 (ACME http-01 cần mở cổng 80 tạm thời), bài 10 (NUT/SMTP/exporter), bài 11 (runbook rollback firewall), bài 15, 17, 33, 36 (giám sát, SIEM, log, IPS)

Ngày cập nhật: 2026-10-15
Môi trường: HOATRANLABS – PVE 9.2 (cluster HOATRANHUB node1–node4; node5, node6 standalone site phụ)
Người thực hiện: sysadmin

Danh sách máy chủ & IP liên quan

Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.

Máy chủIPVLAN · NodeVai trò trong bài này
node1 (Proxmox VE)10.11.45.21045 (MGMT) · cluster HOATRANHUBNode canary: soạn cluster.fw, chạy dry-run compile/simulate và bật firewall đầu tiên; sau này chạy NUT upsd (rule 3493 tắt trong host.fw).
node2 (Proxmox VE)10.11.45.21145 (MGMT) · cluster HOATRANHUBNode cụm HOATRANHUB nhận cùng cluster.fw; bật firewall ở đợt sau canary; chứa VM290 ops01.
node3 (Proxmox VE)10.11.45.21245 (MGMT) · cluster HOATRANHUBNode cụm HOATRANHUB; bật firewall ở đợt sau canary; corosync, Ceph và migration chỉ mở giữa các node.
node4 (Proxmox VE)10.11.45.21345 (MGMT) · cluster HOATRANHUBNode cụm HOATRANHUB; chứa VM101 pbs01 và VM102 pdm01, nơi áp dụng VM firewall mẫu 101.fw.
node5 (Proxmox VE standalone)10.100.100.20Site phụ 10.100.100.0/24 · standaloneStandalone site phụ: cluster.fw riêng (local_network thu hẹp), nhận PDM cổng 8006; nơi thử nftables (proxmox-firewall).
node6 (Proxmox VE standalone)10.100.100.21Site phụ 10.100.100.0/24 · standaloneStandalone site phụ: bộ firewall riêng như node5; không dùng chung Alias/IPSet với cụm.
ops01 (Ansible/OpenTofu + bastion) · VM29010.11.45.2045 (MGMT) · node2Nguồn quản trị chính trong IPSet mgmt-admins: SSH bằng khoá (sysadmin), API; chạy playbook Ansible đẩy firewall ở quy mô lớn (bài 07).
pbs01 (PBS Primary) · VM10110.11.45.1745 (MGMT) · node4VM firewall mẫu 101.fw: chỉ nhận cổng 8007 từ node, node5/6, pdm01, pbsdr01 và mgmt-admins; ipfilter-net0 chống giả mạo IP (bài 04).
pdm01 (Proxmox Datacenter Manager) · VM10210.11.45.1845 (MGMT) · node4Được mở cổng 8006 tới mọi node qua nhóm sg-pve-integr; WebUI cổng 8443 chỉ cho mgmt-admins (bài 04).
pbsdr01 (PBS DR)10.100.100.6Site phụ 10.100.100.0/24 · site phụPBS-DR ở site phụ kéo (pull) đồng bộ từ pbs01 qua cổng 8007; được phép trong 101.fw (bài 04).
prometheus (Prometheus + Alertmanager) · VM23510.11.45.3545 (MGMT) · node2Nguồn scrape tới node: 8006 (pve-exporter), 9100 (node_exporter), 9283 (Ceph MGR); rule soạn sẵn ở dạng tắt, bật khi làm bài 15.
step-ca (step-CA PKI) · VM24210.11.25.4225 (SEC) · node1Node xin chứng chỉ ACME qua cổng 9000 (chiều ra); step-CA vào cổng 80 của node cho HTTP-01 (rule tắt, bật tạm ở bài 09, bài 13).
ups01 (UPS có SNMP/NMC + NUT)10.11.45.1945 (MGMT) · thiết bịUPS có NMC/SNMP; NUT upsd trên node1 cần cổng 3493 giữa các node (rule tắt trong host.fw, bật ở bài 10).
FortiGate (firewall)10.100.100.1Quản trị 10.100.100.0/24 · thiết bị mạngRanh giới VLAN/site: chính sách admin → 22/8006, node5/6 → pbs01 8007, pdm01 → node5/6 8006; PVE firewall bổ sung phần FortiGate không thấy (bài 03).

Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Máy quản trị của bạn (PC admin trong dải mgmt-admins) và QDevice (cụm 2 node) là máy tùy ý nên không liệt kê.

Tổng quan

Bài này thực hiện trên cụm HOATRANHUB đã dựng ở bài 03 và hai node standalone ở bài 02. Phần lõi chỉ cần bài 01–04; các rule dành cho dịch vụ dựng sau (Prometheus, NUT, ...) được soạn sẵn ở dạng rule tắt (dấu | đầu dòng) và chỉ bật khi tới bài tương ứng.

Thông sốGiá trị
Phiên bản PVE9.2 (Debian 13 trixie)
Quy mô áp dụng1 node → hàng trăm node
Cluster ví dụHOATRANHUB (4 node)
Firewall chínhpve-firewall (iptables)
HardeningSSH · 8006 · fail2ban
Repopve-no-subscription
Điều kiện tiên quyếtBài 01–04
Thời gian thực hiện~3–4 giờ (4 node)

Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15):

Thành phầnPhiên bảnGhi chú
Proxmox VE9.2 (pve-manager 9.2.21 trên repo no-subscription; lab 9.2.20 theo bài 03)Tài liệu đối chiếu: pve-docs 9.2.13 (chương Firewall, Cluster Manager, pveproxy, User Management)
pve-firewall6.0.6Daemon dùng iptables; nạp rule ~10 giây/lần; lệnh pve-firewall
proxmox-firewall1.2.3Bản nftables, tài liệu 9.2 vẫn ghi tech preview, chưa phù hợp production
Debian13 "trixie"Nền của PVE 9
OpenSSH10.0p1 (1:10.0p1-7+deb13u4)Có sẵn PerSourcePenalties (chặn nguồn xác thực sai lặp lại)
fail2ban1.1.0-8Mặc định Debian 13: banaction = nftables, jail sshd bật sẵn với backend systemd
auditd4.0.2 (1:4.0.2-2+deb13u1)
unattended-upgrades2.12Tuỳ chọn, chỉ nguồn security
Corosync3.1.10-pve3Kronosnet, UDP 5405–5412
CephTentacle 20.2.4Cổng 3300, 6789, 6800–7568 (docs Ceph Tentacle)
proxmox-backup-client4.2.8-1 (đi kèm PVE)Dùng ở mục 12
Terraform provider bpg/proxmox0.116.1Tuỳ chọn, mục 13.4
Bốn nguyên tắc chống tự khoá (đọc trước khi gõ lệnh nào): (1) soạn rule khi enable: 0, bật firewall ở bước gần cuối; (2) rule cho dải quản trị và cho các node nói chuyện với nhau phải có trước khi bật; (3) luôn giữ ít nhất 2 phiên SSH đang mở và 1 đường console ngoài băng (iDRAC/iLO/IPMI hoặc console của hypervisor mẹ); (4) có công tắc tự gỡ firewall sau vài phút và có kế hoạch rollback viết sẵn (mục 3).

Phụ thuộc xuôi/ngược trong lộ trình — bài làm được ngay sau bài 04; các hạng mục dưới đây chỉ là tích hợp làm sau:

Hạng mụcCần bàiCách xử lý trong bài này
Quản trị từ ops01 (Ansible, SSH bastion)Bài 07Alias và IPSet đã có ops01; chưa dựng ops01 thì chỉ cần IP máy quản trị của bạn
Prometheus/Grafana scrape 8006, 9100, 9283Bài 15Rule soạn sẵn ở trạng thái tắt trong sg-pve-integr; Prometheus đã có trong ALLOW_FROM của pveproxy; bỏ dấu | khi làm bài 15
Chứng chỉ ACME từ step-CA (node → :9000, step-CA → node :80 cho HTTP-01)Bài 13, 09Alias step-ca và rule cổng 80 (chỉ nguồn step-ca) soạn sẵn ở dạng tắt, bật tạm khi cấp chứng chỉ
NUT/UPS (cổng 3493 trên node1)Bài 10Rule tắt trong host.fw của node1
DNS Pi-hole, step-CA, Authentik OIDCBài 12, 09, 08Bài này dùng IP; rule không phụ thuộc DNS
Wazuh agent, Loki, CrowdSecBài 17, 33, 36Mục 11.4 chỉ nêu điểm gom log
VPN quản trị (Headscale)Bài 20Thêm dải VPN vào IPSet mgmt-admins khi có

Quy mô triển khai (1 node → hàng trăm node)

Không có subscription: dùng repo pve-no-subscription, hỗ trợ cộng đồng; toàn bộ công cụ trong bài miễn phí. Giới hạn và khuyến nghị lấy từ tài liệu Proxmox VE (chương Cluster Manager): không có giới hạn cứng về số node trong cụm, thực tế phụ thuộc phần cứng và mạng, có báo cáo cụm trên 50 node chạy production (số liệu 2021); cụm cần độ trễ dưới 5 ms giữa các node; HA cần tối thiểu 3 phiếu bầu; Corosync nên có mạng riêng. Mốc "~30 node" dùng trong series là khuyến nghị thận trọng để tách cụm, không phải giới hạn của Proxmox.

Quy môMô hìnhĐiểm khác biệt về firewall/hardeningCông cụ áp dụng
1 node standalonecluster.fw + host.fw nằm ngay trên nodeĐặt local_network tường minh; bỏ nhóm sg-pve-cluster; vẫn nên giữ PermitRootLogin prohibit-password; sao lưu config.db lên PBSGUI/CLI trực tiếp
2–3 node (+ QDevice)2 node + QDevice (phiếu thứ 3) hoặc 3 nodeipset-pve-nodes 2–3 mục; cho node → host QDevice TCP 5403 (cổng mặc định corosync-qnetd, xem man corosync-qnetd); host QDevice cần SSH root bằng khoá khi chạy pvecm qdevice setupGUI/CLI + script
Cluster 4–~30 nodeHOATRANHUB là ví dụĐúng như bài: 1 cluster.fw dùng chung; thêm node thì thêm vào ipset-pve-nodes trước khi join; tách mạng corosync/Ceph/migration khi lên tới hàng chục nodeAnsible (khuyến nghị từ ~5 node)
Trên ~30 node, tới hàng trăm nodeNhiều cluster (mỗi cluster một cluster.fw) + PDM quản lý tập trungAlias/IPSet/Security Group chỉ có hiệu lực trong phạm vi một cluster, node standalone mỗi máy một bộ riêng ⇒ sinh cấu hình từ template Jinja2 trong Git; triển khai theo đợt (canary → 25% → 100%)Ansible từ ops01, hoặc OpenTofu/Terraform (mục 13)
01

Kiến trúc firewall Proxmox VE

Ba tầng, ba zone, ba hướng · Rule mặc định khi bật firewall và bảng cổng chuẩn · pve-firewall (iptables) và proxmox-firewall (nftables)

1.1 Ba tầng, ba zone, ba hướng

Firewall chạy trên từng node (daemon pve-firewall + pvefw-logger) nhưng cấu hình nằm trên hệ thống file cluster /etc/pve nên tự đồng bộ cho mọi node. Khác với firewall tập trung, mỗi node tự lọc lưu lượng của chính nó và của VM trên nó, không có điểm nghẽn.

TầngFile cấu hìnhMenu trong WebUIVai trò
Datacenter/etc/pve/firewall/cluster.fwDatacenter → FirewallBật/tắt toàn cụm, policy_in/out, Alias, IPSet, Security Group, rule áp cho host của mọi node
Node (host)/etc/pve/nodes/<node>/host.fw<node> → FirewallRule và tuỳ chọn riêng một node (đánh giá trước rule datacenter), mức log, nosmurfs, tcpflags, conntrack
VM/CT/etc/pve/firewall/<VMID>.fwVM/CT → FirewallBật firewall cho guest; chính sách vào/ra riêng; chỉ hiệu lực khi NIC có firewall=1
VNet (SDN)/etc/pve/sdn/firewall/<vnet>.fwDatacenter → SDNChỉ rule hướng FORWARD; chỉ nftables hỗ trợ

Hướng của rule: IN (đi vào zone), OUT (đi ra), FORWARD (đi xuyên qua; chỉ hiệu lực với proxmox-firewall nftables, pve-firewall bỏ qua). Zone: Host, VM, VNet.

FortiGate (ranh giới VLAN/site, 10.100.100.1)
                       │
   ┌───────────────────┴───────────────────────────────────────────┐
   │ node (host zone)   ← host.fw rules  →  rồi cluster.fw rules    │
   │   policy_in = DROP (khi enable=1)   ngoại lệ tự sinh: lo, established,
   │                                     management→8006/22/…, corosync │
   │   ┌───────────── bridge vmbr0 (VLAN-aware) ───────────────┐    │
   │   │  fwbr/tap của VM: <VMID>.fw (policy_in DROP mặc định)  │    │
   │   └────────────────────────────────────────────────────────┘    │
   └──────────────────────────────────────────────────────────────────┘

Ba điều cần nhớ khi đọc/viết rule:

  • Rule host cấp node được xét trước rule cấp datacenter; trong cùng một file, rule xét từ trên xuống.
  • Khi bật firewall cấp cluster mà chưa đặt policy_in, mặc định host là DROP (đọc từ mã nguồn pve-firewall: policy_in || 'DROP'); policy_out mặc định ACCEPT. VM bật firewall cũng mặc định policy_in DROP, policy_out ACCEPT.
  • Cấu hình VM nằm trong /etc/pve nên đi theo VM khi migrate/HA và (theo hàm clone_vmfw_conf trong mã nguồn pve-firewall) được sao chép khi clone; nhưng không có tác dụng nếu NIC của VM chưa đặt firewall=1. Việc sao chép khi clone cần kiểm lại trên máy thật.

1.2 Rule mặc định khi bật firewall và bảng cổng chuẩn

Khi policy_in/policy_out là DROP hoặc REJECT, PVE vẫn tự cho phép: loopback; kết nối đã thiết lập; IGMP; TCP từ tập management tới 8006 (WebUI), 5900–5999 (VNC console), 3128 (SPICE), 22 (SSH), 60000–60050 (migration); UDP 5405–5412 cho corosync trong mạng cluster; multicast UDP trong mạng cluster; ICMP loại 3, 4, 11. Các loại rác (TCP trạng thái invalid, broadcast/multicast không phải corosync, cổng 135/139/445, 137–139 UDP, 1900 UDP, TCP 43, UDP nguồn 53) bị chặn không ghi log.

Tập management tự sinh: tập IP management luôn chứa local_network, tức mạng của node được tự dò (ở lab là cả 10.11.45.0/24). Nghĩa là mọi máy trong VLAN 45 đã được phép vào 8006/22 dù bạn chưa viết rule nào. Mục 5.2 thu hẹp local_network về đúng dải node; đây là điểm khác biệt giữa "bật firewall cho có" và hardening thật.
Chi tiết cần kiểm lại trên máy thật: đọc mã nguồn pve-firewall (nhánh master, 2026-10-15) thấy rule corosync tự sinh chỉ mở UDP 5404:5405 theo từng ring, trong khi tài liệu ghi 5405–5412. Với 1 link (như lab) không ảnh hưởng; cụm có link thứ hai dùng cổng 5406 trở lên. Bài này luôn thêm rule tường minh 5405:5412; sau khi bật hãy xác nhận bằng pve-firewall compile.

Bảng cổng chuẩn (tài liệu PVE, Ceph Tentacle và các dịch vụ của lab):

CổngGiao thứcDùng choCho phép từ
8006TCPWebUI + API (HTTPS); node → node chuyển tiếp requestmgmt-admins, các node, PDM, Prometheus
22TCPSSH quản trị; giữa node: proxy shell/console, migration, replicationmgmt-admins; các node (root, khoá)
5405–5412UDPCorosync (Kronosnet), link 0 dùng 5405, link tiếp theo cổng kế tiếpChỉ giữa các node
60000–60050TCPLive-migration (RAM, đĩa local)Chỉ giữa các node
5900–5999TCPVNC console (WebSocket)management (tự sinh)
3128TCPSPICE proxymanagement (chỉ khi dùng SPICE)
80TCPACME HTTP-01: tiến trình ACME của PVE tạm nghe cổng 80 lúc xác thực (bài 09)Chỉ step-CA, bật tạm
9000TCPstep-CA ACME directory, chiều ra từ node (bài 13)OUT
111UDPrpcbindKhông cần (mục 11.1)
25TCPsendmail, chiều raOUT
3300, 6789TCPCeph MON (msgr2, msgr1)Các node / mạng Ceph
6800–7568TCPCeph MGR, OSD, MDSCác node / mạng Ceph
5403TCPcorosync-qnetd (QDevice)Node → host QDevice
9100, 9283TCPnode_exporter; Ceph MGR module prometheusPrometheus (bài 15)
3493TCPNUT upsd (bài 10)Các node (chỉ node1 lắng nghe)
8007 / 8443TCPPBS / PDM WebUI + APITheo VM firewall (mục 7)
Macro Ceph của PVE chỉ mở 6800:7300. Tài liệu Ceph Tentacle khuyên mở toàn bộ 6800–7568 vì daemon bind cổng không cố định và có thể nhảy lên cao khi restart. Vì vậy bài này tự viết rule 3300,6789,6800:7568 thay vì dùng macro.

1.3 pve-firewall (iptables) và proxmox-firewall (nftables)

Tiêu chípve-firewall (mặc định)proxmox-firewall (nftables)
Trạng thái trong docs 9.2Ổn định, đang dùngTech preview, "chưa phù hợp production"
Dịch vụpve-firewall.service (+ pvefw-logger)proxmox-firewall.service
BậtDatacenter → Firewall → Options → FirewallNode → Firewall → Options → nftables = Yes (cần gói proxmox-firewall)
Xem ruleiptables-save, pve-firewall compilenft list ruleset (bảng proxmox-firewall, proxmox-firewall-guests)
Rule FORWARD, VNetBị bỏ quaHỗ trợ
REJECT cho guestCóKhông (thành DROP)
Bridge firewall fwbrXCóKhông với Linux bridge
Bật/tắtTức thờiPhải khởi động lại mọi VM/CT đang chạy

Khuyến nghị: cluster production giữ pve-firewall (iptables); thử nftables ở node standalone trước (mục 8). Dịch vụ pve-firewall.service còn tự đặt iptables/ebtables về bản legacy khi khởi động, vì vậy đừng trộn các rule iptables viết tay vào chain PVEFW-*.

1.4 Phân vai với FortiGate

LớpCông cụThấy đượcDùng cho
Ranh giới / giữa VLAN, giữa siteFortiGateLưu lượng đi qua router (VLAN → VLAN, site → site)Chính sách nguồn → đích → dịch vụ giữa 25/35/45/65/75/85 và site phụ
Host ProxmoxPVE Datacenter + Node firewallMọi gói vào/ra node, kể cả từ máy cùng VLAN 45Chỉ mgmt-admins vào 8006/22; corosync, Ceph, migration chỉ giữa node
VM/CTPVE VM firewallLưu lượng cùng VLAN, cùng bridge (east-west) mà FortiGate không bao giờ thấyChỉ mở đúng cổng dịch vụ; chống giả mạo IP/MAC
Bên trong VMUFW/iptables của hệ điều hànhMọi thứ tới VMLớp bổ sung, do bài của từng dịch vụ quy định

Chính sách FortiGate tối thiểu để các luồng của bài này hoạt động (cấu hình theo quy trình của bạn; bài không đưa lệnh FortiOS):

TừĐếnDịch vụMục đích
Dải quản trị (VLAN 75 hoặc VPN)VLAN 45TCP 22, 8006, 8007, 8443Quản trị node, PBS, PDM
node5, node6 (site phụ)pbs01TCP 8007Backup site phụ lên PBS Primary (bài 04)
pbsdr01 (site phụ)pbs01TCP 8007PBS-DR kéo (pull) đồng bộ
pdm01node5, node6TCP 8006PDM quản lý remote standalone
node1–node4step-CA (VLAN 25)TCP 9000Node xin/gia hạn chứng chỉ ACME (bài 13, 09)
step-CA (VLAN 25)node1–node4TCP 80Thử thách HTTP-01 khi cấp chứng chỉ (bài 09); chỉ nguồn step-CA, có thể mở tạm trong lúc cấp
Prometheus (VLAN 45)node1–node6TCP 8006, 9100, 9283pve-exporter, node_exporter, Ceph MGR (bài 15); node5/6 chỉ 8006 và 9100
Tất cả nodeDNS/NTP nội bộ53, 123Phân giải tên, đồng bộ giờ
02

Quy hoạch rule cho cụm HOATRANHUB

Ma trận lưu lượng · Quy ước đặt tên

2.1 Ma trận lưu lượng

#NguồnĐíchCổngMục đíchThực hiện bằng
1mgmt-adminsnode1–node4TCP 22SSH quản trịsg-ssh-admin
2mgmt-adminsnode1–node4TCP 8006, ICMP echoWebUI/API, pingsg-pve-mgmt
3node ↔ nodenode1–node4UDP 5405–5412Corosyncsg-pve-cluster
4node ↔ nodenode1–node4TCP 22, 8006Tunnel SSH, API chuyển tiếpsg-pve-cluster
5node ↔ nodenode1–node4TCP 60000–60050Live-migrationsg-pve-cluster
6node ↔ nodenode1–node4TCP 3300, 6789, 6800–7568Ceph (MON/MGR/OSD)sg-pve-cluster
7pdm01node1–node6TCP 8006PDM (bài 04)sg-pve-integr
8prometheusnode1–node4TCP 8006, 9100, 9283Giám sát (bài 15)sg-pve-integr (rule tắt)
9node1–node4pbs01TCP 8007Backup vzdumppolicy_out ACCEPT + 101.fw
10node5, node6pbs01TCP 8007Backup site phụ101.fw + FortiGate
11node1 ← node2–4node1TCP 3493NUT upsd (bài 10)host.fw của node1 (rule tắt)
12node1–node4step-ca (VLAN 25)TCP 9000Xin/gia hạn chứng chỉ ACME (bài 13, 09)Chiều ra: policy_out ACCEPT + FortiGate VLAN 45 → 25
13step-canode1–node4TCP 80Thử thách HTTP-01 của ACME (bài 09)sg-pve-integr (rule tắt, chỉ nguồn step-ca, bật tạm khi cấp chứng chỉ)

2.2 Quy ước đặt tên

LoạiTênNội dung
Aliaslocal_network10.11.45.208/28, dải của node1–node4 (ghi đè giá trị tự dò)
Aliasnode1…node6, ops01, pbs01, pdm01, pbsdr01, prometheus, step-caMột IP, theo bảng IP của lab
Aliasnet_mgmt, net_srv, net_usr, net_storage, net_drDải VLAN 45, 65, 75, 85 và site phụ
IPSetmgmt-adminsNguồn được phép quản trị (ops01 + dải máy admin)
IPSetipset-pve-nodesnode1–node4
IPSetipset-pve-standalonenode5, node6
IPSetipset-storageDải storage VLAN 85 (khi tách mạng Ceph/NFS)
Security Groupsg-pve-mgmt, sg-ssh-admin, sg-pve-cluster, sg-pve-integr, sg-vm-webTối đa 18 ký tự, tự chuyển thành chữ thường
Quy tắc đặt tên của PVE: alias, IPSet, Security Group bắt đầu bằng chữ cái, chỉ gồm chữ, số, -, _; PVE luôn chuyển tên thành chữ thường nên hãy đặt chữ thường ngay từ đầu.
03

Chuẩn bị chống tự khoá

Checklist trước khi chạm vào firewall · Phiên dự phòng và công tắc người chết · Sao lưu cấu hình trước khi thay đổi

3.1 Checklist trước khi chạm vào firewall

  • Cụm khoẻ: pvecm status có Quorate: Yes, ceph -s là HEALTH_OK, không có VM đang migrate.
  • Biết IP nguồn của chính bạn: echo "${SSH_CLIENT%% *}" trong phiên SSH hiện tại.
  • Có console ngoài băng tới từng node (iDRAC/iLO/IPMI, hoặc console của hypervisor mẹ nếu lab ảo hoá lồng) và đã đăng nhập thử bằng tài khoản root cục bộ.
  • Có ít nhất 2 phiên SSH tới node1 (chạy trong tmux) cùng 1 tab WebUI đang mở.
  • Đã sao lưu cấu hình (3.3) và đọc kế hoạch rollback (3.4).
  • Làm trong cửa sổ bảo trì; tránh lúc backup, GC hoặc verify của PBS đang chạy (bài 04: backup 22:00, sync 00:30–01:00, prune 03:00).
# Trên node1 — kiểm tra nhanh trước khi bắt đầu
pvecm status | grep -E 'Quorate|Nodes|Total votes'
ceph -s | head -8
ha-manager status | head -5
pve-firewall status           # mặc định: Status: disabled/running
pve-firewall localnet         # mạng PVE tự dò và địa chỉ corosync sẽ được tự cho phép
Status: disabled/running
local hostname: node1
local IP address: 10.11.45.210
network auto detect: 10.11.45.0/24
using detected local_network: 10.11.45.0/24

accepting corosync traffic from/to:
 - node2: 10.11.45.211 (link: 0)
 ...

Kết quả pve-firewall localnet ở trên là (mẫu); dòng "accepting corosync traffic" liệt kê đúng địa chỉ các link corosync mà firewall sẽ tự mở.

3.2 Phiên dự phòng và công tắc người chết

Có hai lớp, dùng cả hai:

Lớp 1 — tự gỡ firewall sau N phút (độc lập với cluster, không cần quorum): dùng systemd-run để hẹn giờ chạy pve-firewall stop (lệnh này gỡ toàn bộ rule PVEFW-* của node đó). Chỉ huỷ hẹn giờ sau khi đã kiểm tra xong.

# Hẹn giờ trên node CANARY (node1): 15 phút nữa tự gỡ firewall nếu chưa huỷ
systemd-run --unit=fw-guard --on-active=15min /usr/sbin/pve-firewall stop
systemctl list-timers fw-guard.timer --no-pager

# Khi đã kiểm tra OK: huỷ hẹn giờ
systemctl stop fw-guard.timer

Lớp 2 — giá trị enable kiểu thời hạn (mẹo đọc từ mã nguồn pve-firewall, chưa có trong tài liệu chính thức, cần kiểm lại trên máy thật): với cluster.fw, nếu enable là một số lớn hơn 1 (Unix timestamp) và đã quá 60 giây kể từ mốc đó thì firewall tự coi như enable: 0. Đặt mốc ở tương lai nghĩa là firewall tự tắt sau khoảng thời hạn đó dù mất quorum hay mất kết nối. WebUI không sửa được giá trị này; chỉ dùng khi soạn file tay:

sed -i "s/^enable:.*/enable: $(( $(date +%s) + 600 ))/" /etc/pve/firewall/cluster.fw   # bật ~11 phút rồi tự tắt

3.3 Sao lưu cấu hình trước khi thay đổi

#!/usr/bin/env bash
# fw-backup.sh — sao lưu cấu hình firewall/SSH trước khi thay đổi (chạy trên MỖI node)
set -euo pipefail
D=/root/fw-backup-$(date +%F-%H%M%S)
mkdir -p "$D"
[ -d /etc/pve/firewall ] && cp -a /etc/pve/firewall "$D/firewall"
for f in /etc/pve/nodes/*/host.fw; do [ -e "$f" ] && cp -a --parents "$f" "$D"; done
cp -a /etc/ssh "$D/ssh"
cp -a /etc/default/pveproxy "$D/" 2>/dev/null || true
iptables-save > "$D/iptables-before.txt" 2>/dev/null || true
echo "Đã sao lưu vào $D"

3.4 Kế hoạch rollback (3 mức)

MứcKhi nàoLệnhGhi chú
1. Tắt toàn cụmCòn vào được WebUI/SSH và cụm còn quorumpvesh set /cluster/firewall/options --enable 0 (WebUI: Datacenter → Firewall → Options → Firewall: No)Các node gỡ rule trong vài giây
2. Tắt cục bộ một nodeMất quorum (/etc/pve chỉ đọc, lệnh mức 1 không ghi được) hoặc cluster.fw lỗipve-firewall stop (hoặc systemctl stop pve-firewall)Gỡ rule PVEFW-* của node đó; reboot sẽ nạp lại nếu enable: 1
3. Qua console ngoài băngMất cả SSH lẫn WebUIĐăng nhập root tại console, chạy lệnh mức 2, rồi iptables -S | head để xác nhậnĐã chuẩn bị ở checklist 3.1
Khôi phục fileSau khi sự cố qua đicp /root/fw-backup-<giờ>/firewall/cluster.fw /etc/pve/firewall/cluster.fwCần quorum để ghi vào /etc/pve; mất quorum xem bài 11
Cảnh báo: pve-firewall stop "gỡ mọi rule iptables liên quan tới Proxmox, khiến host có thể không còn được bảo vệ" (tài liệu pve-firewall(8)). Chỉ dùng như biện pháp khẩn cấp và bật lại ngay khi đã sửa cấu hình.
04

Soạn Alias, IPSet, Security Group và rule Datacenter

Cách làm bằng WebUI · Giải thích từng nhóm · Kiểm tra cú pháp

Toàn bộ bước này làm khi enable: 0: cấu hình chỉ được lưu, chưa có rule nào được nạp.

4.1 Cách làm bằng WebUI

Cách 1: WebUI Proxmox (GUI) — PVE 9

1
Datacenter → Firewall → Alias → Add: tạo local_network = 10.11.45.208/28, rồi node1…node4, ops01, pbs01, pdm01, pbsdr01, prometheus, net_* theo mục 2.2 (ô Name, ô IP/CIDR, ô Comment).
Datacenter → Firewall → Alias: danh sách alias đã tạo (local_network 10.11.45.208/28, node1…node6, ops01, pbs01, pdm01, step-ca…) với các cột Name, IP/CIDR, Comment.
Datacenter → Firewall → Alias: danh sách alias đã tạo (local_network 10.11.45.208/28, node1…node6, ops01, pbs01, pdm01, step-ca…) với các cột Name, IP/CIDR, Comment.
2
Datacenter → Firewall → IPSet → Create: tên mgmt-admins; chọn IPSet vừa tạo → Add từng mục (có thể gõ tên alias như ops01). Làm tương tự cho ipset-pve-nodes, ipset-pve-standalone, ipset-storage.
Datacenter → Firewall → IPSet: chọn IPSet mgmt-admins ở khung trái, khung phải liệt kê các mục ops01 và admin_vlan75.
Datacenter → Firewall → IPSet: chọn IPSet mgmt-admins ở khung trái, khung phải liệt kê các mục ops01 và admin_vlan75.
3
Datacenter → Firewall → Security Group → Create: tạo sg-pve-mgmt, sg-ssh-admin, sg-pve-cluster, sg-pve-integr, sg-vm-web; chọn từng nhóm → Add rule (Direction in, Action ACCEPT, Source +mgmt-admins hoặc +ipset-pve-nodes, Protocol, Dest. port; ô Macro chọn SSH hoặc Ping khi phù hợp).
Datacenter → Firewall → Security Group: nhóm sg-pve-cluster với các rule UDP 5405:5412, TCP 22, 8006, 60000:60050 và Ceph 3300,6789,6800:7568; rule ipset-storage hiển thị ở trạng thái tắt.
Datacenter → Firewall → Security Group: nhóm sg-pve-cluster với các rule UDP 5405:5412, TCP 22, 8006, 60000:60050 và Ceph 3300,6789,6800:7568; rule ipset-storage hiển thị ở trạng thái tắt.
4
Datacenter → Firewall → Rules → Insert: Security Group: chèn lần lượt sg-pve-mgmt, sg-ssh-admin, sg-pve-cluster, sg-pve-integr (rule cấp datacenter áp cho host của mọi node).
5
Datacenter → Firewall → Options → Edit: Input Policy = DROP, Output Policy = ACCEPT; ô Firewall để No.
Datacenter → Firewall → Options: Firewall = No trong giai đoạn soạn, Input Policy = DROP, Output Policy = ACCEPT; sau Bước 6 đổi Firewall thành Yes.
Datacenter → Firewall → Options: Firewall = No trong giai đoạn soạn, Input Policy = DROP, Output Policy = ACCEPT; sau Bước 6 đổi Firewall thành Yes.

Cách 2: sửa file cluster.fw (lab, Ansible)

Thứ tự section có ý nghĩa: [OPTIONS], [ALIASES], [IPSET …], [RULES], rồi mới tới các [group …] (alias phải có trước khi IPSet hay rule tham chiếu tới nó). Dòng bắt đầu bằng | là rule đang tắt. Sửa tại một node bất kỳ của cụm:

# /etc/pve/firewall/cluster.fw — cụm HOATRANHUB
[OPTIONS]
enable: 0
policy_in: DROP
policy_out: ACCEPT

[ALIASES]
local_network 10.11.45.208/28 # ghi đè giá trị tự dò: tập 'management' chỉ gồm dải node1-node4 (mặc định là cả VLAN 45)
net_mgmt 10.11.45.0/24 # VLAN 45 MGMT
net_srv 10.11.65.0/24 # VLAN 65 SRV
net_usr 10.11.75.0/24 # VLAN 75 USR
net_storage 10.11.85.0/24 # VLAN 85 STORAGE
net_dr 10.100.100.0/24 # site phụ
node1 10.11.45.210
node2 10.11.45.211
node3 10.11.45.212
node4 10.11.45.213
node5 10.100.100.20 # standalone site phụ
node6 10.100.100.21
ops01 10.11.45.20 # VM290: Ansible/OpenTofu/bastion (bài 07)
pbs01 10.11.45.17 # VM101 PBS Primary (bài 04)
pdm01 10.11.45.18 # VM102 Datacenter Manager (bài 04)
pbsdr01 10.100.100.6 # PBS-DR (bài 04)
prometheus 10.11.45.35 # VM235 (bài 15)
step-ca 10.11.25.42 # VM242 step-CA (bài 13): node xin chứng chỉ qua :9000; HTTP-01 đi từ đây vào node :80 (bài 09)
admin_vlan75 10.11.75.0/28 # VÍ DỤ dải máy quản trị — SỬA theo thực tế

[IPSET mgmt-admins] # nguồn được phép quản trị (SSH, WebUI)
ops01
admin_vlan75

[IPSET ipset-pve-nodes] # node cụm HOATRANHUB
node1
node2
node3
node4

[IPSET ipset-pve-standalone] # node standalone site phụ
node5
node6

[IPSET ipset-storage] # mạng storage tách riêng (VLAN 85)
net_storage

[RULES]
GROUP sg-pve-mgmt
GROUP sg-ssh-admin
GROUP sg-pve-cluster
GROUP sg-pve-integr

[group sg-pve-mgmt] # WebUI/API và ping từ mgmt-admins
IN ACCEPT -source +dc/mgmt-admins -p tcp -dport 8006 # WebUI + API
IN Ping(ACCEPT) -source +dc/mgmt-admins

[group sg-ssh-admin] # SSH từ mgmt-admins (dùng cho host và cho VM)
IN SSH(ACCEPT) -source +dc/mgmt-admins

[group sg-pve-cluster] # lưu lượng giữa các node của cụm
IN ACCEPT -source +dc/ipset-pve-nodes -p udp -dport 5405:5412 # corosync (knet), mọi link
IN SSH(ACCEPT) -source +dc/ipset-pve-nodes
IN ACCEPT -source +dc/ipset-pve-nodes -p tcp -dport 8006 # API chuyển tiếp giữa node
IN ACCEPT -source +dc/ipset-pve-nodes -p tcp -dport 60000:60050 # live-migration
IN ACCEPT -source +dc/ipset-pve-nodes -p tcp -dport 3300,6789,6800:7568 # Ceph MON/MGR/OSD/MDS
|IN ACCEPT -source +dc/ipset-storage -p tcp -dport 3300,6789,6800:7568 # BẬT khi tách mạng Ceph sang VLAN 85
IN Ping(ACCEPT) -source +dc/ipset-pve-nodes

[group sg-pve-integr] # dịch vụ gọi vào node
IN ACCEPT -source pdm01 -p tcp -dport 8006 # Proxmox Datacenter Manager (bài 04)
|IN ACCEPT -source prometheus -p tcp -dport 8006 # pve-exporter, token svc-monitoring@pve (bài 08, 15)
|IN ACCEPT -source prometheus -p tcp -dport 9100 # node_exporter (bài 15)
|IN ACCEPT -source prometheus -p tcp -dport 9283 # Ceph MGR module prometheus (bài 15)
|IN Ping(ACCEPT) -source prometheus
|IN ACCEPT -source step-ca -p tcp -dport 80 # HTTP-01 của step-CA khi cấp/gia hạn chứng chỉ node (bài 09); BẬT TẠM lúc `pvenode acme cert order`, xong tắt lại

[group sg-vm-web] # VM web: HTTP/HTTPS (dùng cho VM, mục 7)
IN HTTP(ACCEPT)
IN HTTPS(ACCEPT)

Cách 3: pvesh (API), dùng khi viết script

pvesh create /cluster/firewall/aliases --name ops01 --cidr 10.11.45.20 --comment 'VM290 Ansible/bastion'
pvesh create /cluster/firewall/ipset --name mgmt-admins --comment 'Nguồn được phép quản trị'
pvesh create /cluster/firewall/ipset/mgmt-admins --cidr 10.11.75.0/28 --comment 'Dải máy admin (ví dụ)'
pvesh create /cluster/firewall/groups --group sg-ssh-admin --comment 'SSH từ mgmt-admins'
pvesh create /cluster/firewall/groups/sg-ssh-admin --type in --action ACCEPT --macro SSH --source +dc/mgmt-admins --enable 1
pvesh create /cluster/firewall/rules --type group --action sg-ssh-admin --enable 1
pvesh set    /cluster/firewall/options --policy_in DROP --policy_out ACCEPT --enable 0
pvesh get    /cluster/firewall/rules --output-format json-pretty

Quyền cần có theo API: ghi cấu hình cấp cluster cần Sys.Modify trên /; cấp node cần Sys.Modify trên /nodes/<node>; cấp VM cần VM.Config.Network trên /vms/<vmid>; đọc log firewall cần Sys.Syslog. Phần gán quyền cho tài khoản tự động hoá (svc-automation@pve!ansible) ở bài 08.

4.2 Giải thích từng nhóm

Security GroupCho phépLý do
sg-pve-mgmtmgmt-admins → TCP 8006, pingWebUI/API; ping để kiểm tra kết nối
sg-ssh-adminmgmt-admins → TCP 22Dùng chung cho host và VM (mục 7)
sg-pve-clusterNode ↔ node: UDP 5405–5412, TCP 22, 8006, 60000–60050, CephTường minh hoá những gì cụm cần, kể cả khi local_network bị thu hẹp
sg-pve-integrpdm01 → 8006 (bật); Prometheus → 8006/9100/9283 (tắt, bài 15); step-CA → TCP 80 (tắt, bài 09)Dịch vụ tích hợp: bật từng rule khi triển khai bài tương ứng
sg-vm-webHTTP, HTTPSMẫu cho VM web (mục 7.4)
Tiền tố +dc/: trong rule viết bên trong Security Group, hãy dùng +dc/<tên IPSet> để chỉ rõ IPSet cấp datacenter. Cùng một nhóm sẽ được dùng ở cả host lẫn VM; ở VM, nếu không có tiền tố thì PVE tìm IPSet của chính VM trước.

Chiều ra (policy_out). Lab giữ ACCEPT để apt, PBS, SMTP, ACME… hoạt động ngay. Môi trường siết chặt có thể đặt policy_out: DROP, nhưng rất dễ tự khoá apt/Ceph; chỉ làm trên cluster staging và phải whitelist tối thiểu các luồng chiều ra dưới đây (viết OUT ACCEPT … trong một Security Group riêng áp cho host):

Luồng chiều raCổngĐích
DNS, NTP53 TCP/UDP, 123 UDPPi-hole / máy chủ NTP nội bộ (bài 12)
apt80, 443 TCPdeb.debian.org, download.proxmox.com (cần cho cập nhật, bài 06)
Backup8007 TCPpbs01, pbsdr01
Giữa node22, 8006, 5405–5412 UDP, 60000–60050, Cephipset-pve-nodes
SMTP cảnh báo587 TCPMailu (bài 16)
ACME9000 TCPstep-ca (bài 13, 09)

4.3 Kiểm tra cú pháp

# Đọc lại và liệt kê cảnh báo của parser (ví dụ alias chưa tồn tại, tên IPSet sai)
pvesh get /cluster/firewall/aliases --output-format json | head -c 600
pvesh get /cluster/firewall/ipset
pvesh get /cluster/firewall/groups
journalctl -u pve-firewall --since '-10min' --no-pager | tail -20
05

Rule cấp Node và thu hẹp local_network

host.fw — tuỳ chọn từng node · Thu hẹp local_network: bước hardening quan trọng nhất

5.1 host.fw — tuỳ chọn từng node

Các tuỳ chọn dưới đây chỉ có ở cấp node: mức log cho rule mặc định, lọc gói tin SMURF và cờ TCP bất thường. Ghi cho cả 4 node từ một node bất kỳ (pmxcfs tự nhân bản):

for n in node1 node2 node3 node4; do
  cat > /etc/pve/nodes/$n/host.fw <<'EOF'
[OPTIONS]
enable: 1
log_level_in: info
log_level_out: nolog
nosmurfs: 1
tcpflags: 1
EOF
done

Rule riêng cho node1 (NUT, bật ở bài 10) — nối thêm vào host.fw của node1:

# /etc/pve/nodes/node1/host.fw (phần cuối)
[RULES]
|IN ACCEPT -source +dc/ipset-pve-nodes -p tcp -dport 3493 # NUT upsd (upsmon master trên node1) — bài 10

WebUI: node1 → Firewall → Options (Log level in, nosmurfs, tcpflags) và → Rules (Add).

5.2 Thu hẹp local_network: bước hardening quan trọng nhất

Mặc định management = mạng tự dò = cả 10.11.45.0/24. Ghi đè alias local_network (đã có trong cluster.fw ở mục 4) làm tập management chỉ còn dải của node. Từ đó Prometheus, PBS, một VM bị chiếm quyền trong VLAN 45… không còn mặc nhiên vào được 8006/22 mà phải khớp rule tường minh.

pve-firewall localnet | sed -n '1,6p'    # phải thấy: using user defined local_network: 10.11.45.208/28
Hệ quả: node mới tham gia cụm, PDM, Prometheus, ops01… đều phải nằm trong ipset-pve-nodes, mgmt-admins hoặc rule tích hợp trước khi cần kết nối. Với cụm nhiều node ở nhiều subnet, thay 10.11.45.208/28 bằng dải bao trùm node hoặc dùng rule tường minh (nhóm sg-pve-cluster đã làm việc này).

Với node standalone site phụ (node5, node6), file cluster.fw riêng của từng máy có local_network 10.100.100.16/28, bỏ nhóm sg-pve-cluster, giữ sg-pve-mgmt, sg-ssh-admin, sg-pve-integr và thêm pdm01.

06

Dry-run và bật firewall an toàn

Dry-run: nạp cấu hình nhưng chưa nạp rule · Bật trên node canary (node1) · Bật cho các node còn lại và tắt công tắc

6.1 Dry-run: nạp cấu hình nhưng chưa nạp rule

Ý tưởng: dừng daemon pve-firewall trên mọi node (khi dừng không có rule nào được nạp), bật enable: 1 trong cấu hình, rồi dùng compile và simulate — hai lệnh chỉ đọc cấu hình, không cần daemon. Với enable: 0, compile không in gì nên không kiểm tra được; đó là lý do cần bước dừng daemon.

# Trên node1 (đã có khoá cluster tới các node khác)
for n in node1 node2 node3 node4; do ssh root@$n 'systemctl stop pve-firewall'; done
pvesh set /cluster/firewall/options --enable 1       # chỉ ghi cấu hình; daemon đang dừng nên chưa có rule nào chạy
pve-firewall status                                  # kỳ vọng: Status: enabled/stopped

pve-firewall compile > /root/fw-compile.txt 2> /root/fw-compile.err
wc -l /root/fw-compile.txt; cat /root/fw-compile.err   # file .err phải rỗng (mọi cảnh báo cú pháp nằm ở đây)
grep -E 'dport 5405:5412|dport 8006|dport 3300,6789,6800:7568|dport 60000:60050' /root/fw-compile.txt | head

Dùng simulate để thử "gói tin giả" trước khi áp dụng:

# 1) PC admin (trong mgmt-admins) vào WebUI node1 -> kỳ vọng ACCEPT
pve-firewall simulate --from outside --to host --source 10.11.75.5 --dest 10.11.45.210 --protocol tcp --dport 8006
# 2) dc1 (VLAN 65, không thuộc mgmt-admins) vào SSH node1 -> kỳ vọng DROP
pve-firewall simulate --from outside --to host --source 10.11.65.50 --dest 10.11.45.210 --protocol tcp --dport 22
# 3) node2 gửi corosync tới node1 -> kỳ vọng ACCEPT
pve-firewall simulate --from outside --to host --source 10.11.45.211 --dest 10.11.45.210 --protocol udp --dport 5405
# 4) pdm01 vào API node1 -> kỳ vọng ACCEPT
pve-firewall simulate --from outside --to host --source 10.11.45.18 --dest 10.11.45.210 --protocol tcp --dport 8006
# 5) step-CA vào cổng 80 của node1 khi chưa bật rule HTTP-01 -> kỳ vọng DROP (bật tạm rule ở bài 09 thì thành ACCEPT)
pve-firewall simulate --from outside --to host --source 10.11.25.42 --dest 10.11.45.210 --protocol tcp --dport 80
Terminal node1: pve-firewall simulate nguồn 10.11.75.5 → cổng 8006 trả ACTION: ACCEPT, còn nguồn 10.11.65.50 → cổng 22 trả ACTION: DROP.
Terminal node1: pve-firewall simulate nguồn 10.11.75.5 → cổng 8006 trả ACTION: ACCEPT, còn nguồn 10.11.65.50 → cổng 22 trả ACTION: DROP.
Test packet:
  from    : outside
  to      : host
  proto   : tcp
  source  : 10.11.75.5
  dest    : 10.11.45.210
  dport   : 8006
...
ACTION: ACCEPT

Đây là (mẫu); phần ... là vết đi qua các chain (ENTER/MATCH/LEAVE), định dạng chính xác cần kiểm lại trên máy thật. Mọi trường hợp phải ra đúng kỳ vọng mới sang bước sau. simulate giả định routing giữa các zone luôn thông.

6.2 Bật trên node canary (node1)

Chỉ node1 chạy daemon; node2–node4 đang dừng (không firewall) nên node1 được thử thách thật với lưu lượng vào từ các node còn lại, còn rủi ro bị giới hạn ở một node (cụm vẫn còn 3/4 phiếu).

# Phiên SSH #1 (giữ mở). Hẹn giờ gỡ firewall rồi khởi động daemon trên node1
systemd-run --unit=fw-guard --on-active=15min /usr/sbin/pve-firewall stop
systemctl start pve-firewall
sleep 15; pve-firewall status                          # Status: enabled/running

Kiểm tra ngay (mở phiên SSH #2 mới và một tab WebUI mới, không dùng lại phiên cũ):

# Từ PC admin / ops01
ssh sysadmin@node1 hostname           # hoặc root nếu bạn chưa tạo sysadmin
curl -sk -o /dev/null -w '%{http_code}\n' https://10.11.45.210:8006/   # 200
# Trên node1
pvecm status | grep -E 'Quorate|Total votes'          # Quorate: Yes, đủ 4 phiếu
corosync-cfgtool -s | grep -E 'link|connected'
ceph -s | grep -E 'health|mon:|osd:'
iptables -S PVEFW-HOST-IN | head -20
tail -n 30 /var/log/pve-firewall.log
Terminal node1 sau khi bật canary: pve-firewall status báo Status: enabled/running; pvecm status Quorate: Yes, đủ 4 phiếu; ceph -s HEALTH_OK.
Terminal node1 sau khi bật canary: pve-firewall status báo Status: enabled/running; pvecm status Quorate: Yes, đủ 4 phiếu; ceph -s HEALTH_OK.

Kỳ vọng: quorum đủ 4/4, HEALTH_OK, WebUI/SSH từ máy admin vào bình thường, từ một máy không thuộc mgmt-admins (ví dụ VM trong VLAN 65) thì nc -vz 10.11.45.210 8006 bị treo/timeout. Thử thêm live-migrate một VM test từ node2 sang node1 và ngược lại. Quan sát 10–15 phút; nếu mọi thứ ổn thì huỷ công tắc: systemctl stop fw-guard.timer.

Nếu có gì sai: không cần làm gì, 15 phút sau fw-guard tự gỡ firewall trên node1. Muốn gỡ ngay: pve-firewall stop.

6.3 Bật cho các node còn lại và tắt công tắc

Lần lượt node2 → node3 → node4; sau mỗi node kiểm tra quorum và Ceph rồi mới sang node kế tiếp.

for n in node2 node3 node4; do
  ssh root@$n 'systemd-run --unit=fw-guard --on-active=15min /usr/sbin/pve-firewall stop && systemctl start pve-firewall'
  sleep 20
  ssh root@$n 'pvecm status | grep -E "Quorate|Total votes"; ceph health'
  read -rp "Node $n ổn? Enter để huỷ công tắc và đi tiếp, Ctrl+C để dừng: "
  ssh root@$n 'systemctl stop fw-guard.timer'
done
systemctl stop fw-guard.timer 2>/dev/null || true      # node1
for n in node1 node2 node3 node4; do echo -n "$n: "; ssh root@$n 'pve-firewall status'; done

6.4 Kiểm tra cuối và đọc log

# Trạng thái và số chain do PVE quản lý
pve-firewall status
iptables-save | grep -c 'PVEFW'
# Cổng 8006 từ máy không được phép phải bị chặn; máy admin vẫn vào bình thường
# Log: WebUI -> node -> Firewall -> Log, hoặc:
pvesh get /nodes/node1/firewall/log --limit 20
grep -E 'policy|DROP' /var/log/pve-firewall.log | tail -n 10
WebUI node1 → Firewall → Log: các dòng DROP với VMID 0, chain PVEFW-HOST-IN, hiển thị IP nguồn và cổng đích bị chặn.
WebUI node1 → Firewall → Log: các dòng DROP với VMID 0, chain PVEFW-HOST-IN, hiển thị IP nguồn và cổng đích bị chặn.

Log nằm ở /var/log/pve-firewall.log (xoay vòng 7 ngày). Mỗi dòng có dạng VMID LOGID CHAIN TIMESTAMP POLICY: PACKET_DETAILS; với firewall của host, VMID bằng 0. loglevel chỉ đổi tiền tố LOGID, không đổi lượng gói được ghi.

07

Firewall cho VM/CT

Bật firewall trên NIC của VM · Tuỳ chọn VM: chống giả mạo IP/MAC · Ví dụ có thật: pbs01 (VM101)

7.1 Bật firewall trên NIC của VM

Firewall VM cần hai điều kiện: bật ở tab Options của VM, và cờ firewall=1 trên từng NIC. Bật xong, mặc định mọi lưu lượng vào VM bị DROP (kể cả SSH) cho tới khi có rule. Làm trên VM thử nghiệm trước, rồi mới tới VM thật.

Cách 1: WebUI Proxmox (GUI) — PVE 9

  1. Chọn VM → Hardware → chọn Network Device (net0) → Edit → tick Firewall → OK.
  2. Firewall → Options → Edit: Firewall = Yes; Input Policy = DROP; Output Policy = ACCEPT; log_level_in = info.
  3. Firewall → Rules → Add / Insert: Security Group để thêm rule (mục 7.2).
  4. Firewall → IPSet → Create: ipfilter-net0 (tên cố định), thêm IP của VM.

Cách 2: CLI

# Bật firewall=1 trên net0 mà GIỮ NGUYÊN MAC (nếu bỏ MAC, PVE sinh MAC mới => mất lease/IP)
VMID=9100
qm config $VMID | grep '^net0'
qm set $VMID --net0 "$(qm config $VMID | sed -n 's/^net0: //p' | sed -E 's/,?firewall=[01]//'),firewall=1"
qm config $VMID | grep '^net0'          # phải thấy ...,firewall=1 và MAC không đổi

NIC ảo virtio áp dụng nóng được; nếu WebUI báo thay đổi đang chờ (pending) thì khởi động lại VM trong cửa sổ bảo trì.

7.2 Tuỳ chọn VM: chống giả mạo IP/MAC

  • macfilter mặc định bật: chặn gói có MAC nguồn khác MAC của NIC. Cẩn thận với VM làm router hoặc chạy VIP bằng MAC khác.
  • Tập IPSet ipfilter-net0 (tên cố định theo NIC): khi tồn tại, gói đi ra có IP nguồn không thuộc tập bị DROP — chặn VM bị chiếm quyền giả mạo IP khác.
  • dhcp: 0 mặc định: VM dùng IP tĩnh/cloud-init tĩnh (như lab) không cần DHCP; chỉ bật khi VM xin DHCP.
Template cloud-init (bài 07): qm clone sao chép luôn <VMID>.fw của template. Không đặt ipfilter-net0 với IP cố định trong template, nếu không mọi bản clone sẽ mang IP của template và bị chặn; hãy sinh ipfilter-net0 theo IP của từng VM sau khi clone (script create-lab-vms.sh ở bài 07).

7.3 Ví dụ có thật: pbs01 (VM101)

PBS chỉ cần nhận TCP 8007 từ những nguồn đã biết và SSH từ mgmt-admins; NFS ra NAS (chiều ra) vẫn đi qua policy_out ACCEPT. Tạo /etc/pve/firewall/101.fw:

# /etc/pve/firewall/101.fw — pbs01 (VM101), net0 trên VLAN 45
[OPTIONS]
enable: 1
policy_in: DROP
policy_out: ACCEPT
log_level_in: info

[IPSET ipfilter-net0] # chống giả mạo IP nguồn
10.11.45.17

[RULES]
GROUP sg-ssh-admin -i net0
IN ACCEPT -i net0 -source +dc/ipset-pve-nodes -p tcp -dport 8007 # cụm HOATRANHUB đẩy backup
IN ACCEPT -i net0 -source +dc/ipset-pve-standalone -p tcp -dport 8007 # node5, node6 (site phụ)
IN ACCEPT -i net0 -source +dc/mgmt-admins -p tcp -dport 8007 # WebUI PBS
IN ACCEPT -i net0 -source pdm01 -p tcp -dport 8007 # PDM theo dõi datastore
IN ACCEPT -i net0 -source pbsdr01 -p tcp -dport 8007 # PBS-DR kéo (pull) sync
IN Ping(ACCEPT) -i net0 -source +dc/mgmt-admins
|IN ACCEPT -i net0 -source prometheus -p tcp -dport 9100 # node_exporter (bài 15)
WebUI VM101 (pbs01) → Firewall → Options và Rules: Firewall = Yes, Input Policy = DROP, rule cổng 8007 cho ipset-pve-nodes, mgmt-admins và nhóm sg-ssh-admin.
WebUI VM101 (pbs01) → Firewall → Options và Rules: Firewall = Yes, Input Policy = DROP, rule cổng 8007 cho ipset-pve-nodes, mgmt-admins và nhóm sg-ssh-admin.

Sau đó đặt firewall=1 cho net0 của VM101 (mục 7.1) và kiểm tra:

# Từ node4 (nguồn hợp lệ): phải mở được
nc -vz 10.11.45.17 8007
# Từ VM khác không được phép (ví dụ dc1 ở VLAN 65): phải timeout
nc -vz -w 3 10.11.45.17 8007
# Chạy thử một backup để chắc chắn đường PVE -> PBS còn thông
vzdump 9100 --storage pbs-primary --mode snapshot

7.4 Ma trận cổng mở cho dịch vụ trong lab

Bảng cho biết nên mở gì khi bật VM firewall cho từng dịch vụ (cổng lấy từ bài của dịch vụ; xác nhận lại ở bài tương ứng khi dựng):

Dịch vụ (bài)Cổng đến VMNguồn nên cho phépGhi chú
pbs01 (bài 04)TCP 8007node, node5/6, pdm01, pbsdr01, mgmt-adminsMẫu ở mục 7.3
pdm01 (bài 04)TCP 8443mgmt-adminsPDM chỉ cần kết nối ra tới 8006/8007
Pi-hole (bài 12)TCP/UDP 53Mọi VLAN dùng DNSWebUI quản trị chỉ từ mgmt-admins
step-CA (bài 13)TCP 9000VM/node cần xin chứng chỉACME qua HTTPS
Authentik (bài 14)TCP 9443Trình duyệt người dùng, mgmt-adminsOIDC/SSO
Prometheus (bài 15)TCP 9090, 9093Grafana, mgmt-adminsAlertmanager 9093
Mailu (bài 16)TCP 587Node, PBS, các dịch vụ gửi cảnh báoSMTP submission có xác thực
Gitea (bài 22)TCP 443, 2222Người dùng, runnerSSH git cổng 2222; SSH quản trị dùng sg-ssh-admin
08

(Tuỳ chọn) nftables / proxmox-firewall — thử trên node5

Tài liệu PVE 9.2 vẫn xếp proxmox-firewall là tech preview, chưa phù hợp production. Chỉ thử ở node standalone không chạy VM quan trọng (node5 hoặc một node lab).

dpkg -l proxmox-firewall | tail -1                         # kiểm tra đã cài chưa
apt install proxmox-firewall                              # nếu chưa có
# WebUI: node5 -> Firewall -> Options -> nftables = Yes; hoặc:
pvesh set /nodes/node5/firewall/options --nftables 1
systemctl status proxmox-firewall --no-pager | head -5
nft list ruleset | head -40                               # bảng proxmox-firewall, proxmox-firewall-guests
# PHẢI khởi động lại mọi VM/CT đang chạy trên node5 để áp dụng
# Quay lại iptables: --nftables 0, rồi lại khởi động lại VM/CT

Giới hạn cần nhớ: không có REJECT cho guest (thành DROP), không có fwbrX với Linux bridge, rule của guest được đánh giá cả với kết nối đã có trong bảng conntrack. Có thể thêm bảng nft riêng của bạn; proxmox-firewall chỉ động tới hai bảng của nó. Hướng dẫn theo dõi gói (nftrace) có trong chương Firewall của tài liệu.

09

Hardening SSH

Nguyên tắc riêng cho Proxmox · Tạo tài khoản quản trị sysadmin trên mọi node · Drop-in cấu hình sshd

9.1 Nguyên tắc riêng cho Proxmox

Tài liệu cụm của PVE nêu: giữa các node bắt buộc có SSH tunnel TCP 22; tunnel dùng cho proxy console/shell node khác, live-migration (chế độ an toàn) và replication; authorized_keys của root là liên kết tới /etc/pve/priv/authorized_keys (gộp khoá của cả cụm); client SSH của root ưu tiên AES hơn ChaCha20. Do đó:

Không làmLý do
PermitRootLogin noLàm hỏng SSH node ↔ node (migration, shell sang node khác, replication)
Đổi cổng 22Tài liệu yêu cầu 22 giữa các node; che cổng không thay cho giới hạn nguồn + fail2ban
Đặt AllowTcpForwarding no / AllowStreamLocalForwarding no cho root giữa các nodeTunnel dùng forward; đồng thời sshd cũng cảnh báo tắt forward không tăng an toàn nếu người dùng vẫn có shell
Ép chỉ ChaCha20Client của root đã ưu tiên AES

Làm được: root chỉ dùng khoá và chỉ từ dải node; người dùng thường thuộc nhóm ssh-admins, chỉ khoá; mọi nguồn khác bị firewall chặn từ trước.

9.2 Tạo tài khoản quản trị sysadmin trên mọi node

Người dùng realm PAM là tài khoản Linux cục bộ từng node (không đồng bộ qua pmxcfs), nên chạy trên mỗi node (Ansible ở mục 13):

#!/usr/bin/env bash
# create-admin-user.sh — chạy bằng root trên MỖI node
set -euo pipefail
ADMIN=sysadmin
PUBKEY='<SSH_PUBLIC_KEY_CUA_ADMIN>'      # ví dụ: ssh-ed25519 AAAA... sysadmin@ops01
command -v sudo >/dev/null || apt-get install -y sudo
getent group ssh-admins >/dev/null || groupadd --system ssh-admins
id "$ADMIN" >/dev/null 2>&1 || adduser --disabled-password --gecos 'PVE admin' "$ADMIN"
usermod -aG sudo,ssh-admins "$ADMIN"
install -d -m 700 -o "$ADMIN" -g "$ADMIN" "/home/$ADMIN/.ssh"
grep -qxF "$PUBKEY" "/home/$ADMIN/.ssh/authorized_keys" 2>/dev/null || echo "$PUBKEY" >> "/home/$ADMIN/.ssh/authorized_keys"
chown "$ADMIN:$ADMIN" "/home/$ADMIN/.ssh/authorized_keys"; chmod 600 "/home/$ADMIN/.ssh/authorized_keys"
echo "Đặt mật khẩu cho $ADMIN (dùng cho sudo và đăng nhập WebUI realm PAM)"; passwd "$ADMIN"

Tạo khoá trên máy quản trị (ops01 hoặc PC admin): ssh-keygen -t ed25519 -C sysadmin@ops01. Mật khẩu của sysadmin: lab dùng mật khẩu mẫu theo quy ước; production tối thiểu 14 ký tự, lưu trong trình quản lý mật khẩu (bài 19). Đừng bỏ khoá admin vào ~root/.ssh/authorized_keys (tệp này là khoá chung của cụm trong /etc/pve/priv).

Cấp quyền trong PVE (làm một lần, tại node bất kỳ); phân quyền chi tiết theo nhóm/vai trò chuẩn ở bài 08:

pveum user add sysadmin@pam --comment 'Quản trị viên PVE' || true
pveum acl modify / --users sysadmin@pam --roles Administrator

9.3 Drop-in cấu hình sshd

Debian 13 đọc /etc/ssh/sshd_config.d/*.conf trước sshd_config và với mỗi từ khoá thì giá trị đọc được đầu tiên thắng, nên một file drop-in tên 10-… đủ để ghi đè. Đặt khối Match ở cuối file.

# /etc/ssh/sshd_config.d/10-pve-hardening.conf
PermitRootLogin prohibit-password   # root chỉ bằng khoá (cụm cần root SSH giữa các node)
PasswordAuthentication no
KbdInteractiveAuthentication no
PubkeyAuthentication yes
AuthenticationMethods publickey
PermitEmptyPasswords no
MaxAuthTries 3
LoginGraceTime 30
LogLevel VERBOSE                    # ghi vân tay khoá đã dùng: phục vụ điều tra
X11Forwarding no
AllowAgentForwarding no
ClientAliveInterval 300
ClientAliveCountMax 2

# Người dùng thường phải thuộc nhóm ssh-admins
AllowGroups ssh-admins

# Từ dải node (khoá cluster của root): cho phép thêm nhóm root
Match Address 10.11.45.208/28
    AllowGroups root ssh-admins

OpenSSH 10 còn có sẵn PerSourcePenalties (mặc định bật) để tạm từ chối nguồn xác thực thất bại lặp lại; fail2ban ở mục 10.3 bổ sung bằng cách chặn ở tầng firewall.

9.4 Kiểm thử trước khi áp dụng

Thứ tự bắt buộc: tạo sysadmin + khoá → đăng nhập thử bằng khoá → mới tạo drop-in. Giữ nguyên một phiên root đang mở suốt quá trình.

# 0) Đăng nhập thử TRƯỚC khi siết (từ máy admin): phải vào được và sudo được
ssh sysadmin@node1 'sudo -n true 2>/dev/null; id'

# 1) Kiểm tra cú pháp
sshd -t && echo "cú pháp OK"

# 2) Giả lập kết nối để xem cấu hình hiệu lực (cần user, host, addr)
sshd -T -C user=root,host=node2,addr=10.11.45.211 | grep -Ei '^(allowgroups|permitrootlogin|passwordauthentication|authenticationmethods)'
sshd -T -C user=root,host=pc-admin,addr=10.11.75.5 | grep -Ei '^allowgroups'
sshd -T -C user=sysadmin,host=pc-admin,addr=10.11.75.5 | grep -Ei '^allowgroups'

Kết quả mong đợi (mẫu): root từ node2 thấy allowgroups root ssh-admins; root từ PC admin chỉ thấy allowgroups ssh-admins; sysadmin từ PC admin thấy allowgroups ssh-admins. Nếu kết quả khác (ví dụ danh sách bị gộp thay vì thay thế), điều chỉnh drop-in rồi kiểm lại; đừng reload khi chưa ra đúng ba dòng trên.

Terminal node1: ba lệnh sshd -T -C cho kết quả allowgroups root ssh-admins (root từ node2) và chỉ allowgroups ssh-admins (root, sysadmin từ PC admin).
Terminal node1: ba lệnh sshd -T -C cho kết quả allowgroups root ssh-admins (root từ node2) và chỉ allowgroups ssh-admins (root, sysadmin từ PC admin).
# 3) Nạp lại (reload KHÔNG cắt phiên đang mở)
systemctl reload ssh
# 4) Mở phiên MỚI để kiểm tra, vẫn giữ phiên cũ
ssh sysadmin@node1 hostname                   # vào được
ssh root@node1 hostname                       # từ PC admin: phải bị từ chối (Permission denied)
# 5) Kiểm tra chức năng cụm (từ node1, root): SSH node ↔ node và proxy console
ssh node2 hostname && ssh node3 hostname
#    WebUI: mở Shell của node2 khi đang đăng nhập node1; live-migrate một VM test

Rollback: xoá file drop-in và systemctl reload ssh (từ phiên còn mở hoặc console).

9.5 Thuật toán mã hoá (tuỳ chọn)

Mặc định OpenSSH 10 trên Debian 13 đã đủ an toàn (trao đổi khoá hậu lượng tử, AEAD). Chỉ chỉnh tay khi có yêu cầu tuân thủ; hãy xem giá trị hiệu lực trước:

sshd -T | grep -Ei '^(ciphers|macs|kexalgorithms)'
ssh -Q cipher | head

Nếu buộc phải loại bớt thuật toán, dùng cú pháp - (xoá khỏi tập mặc định) thay vì ghi đè cả danh sách, ví dụ Ciphers -aes128-cbc, để các client cũ như Ansible/ProxmoxVE không bị mất thuật toán chung (cần kiểm lại với máy thật).

10

Hardening WebUI/API cổng 8006

Giới hạn nguồn ở pveproxy (ALLOW_FROM) · Xác thực hai yếu tố (2FA) · fail2ban cho 8006 và SSH

10.1 Giới hạn nguồn ở pveproxy (ALLOW_FROM)

Firewall là lớp 1; pveproxy có danh sách điều khiển truy cập độc lập đọc từ /etc/default/pveproxy (lớp 2, phòng khi firewall bị tắt nhầm). Quy tắc của tài liệu: DENY_FROM="all" kèm POLICY="allow" thì nguồn nằm trong ALLOW_FROM (khớp cả allow và deny) được phép, mọi nguồn khác bị từ chối. Không dùng POLICY="deny" với DENY_FROM="all", vì khi khớp cả hai thì kết quả là từ chối.

cp -a /etc/default/pveproxy /root/pveproxy.default.bak 2>/dev/null || true
cat >> /etc/default/pveproxy <<'EOF'
# Nguồn được kết nối WebUI/API/SPICE: dải node, dải admin, ops01, PDM, Prometheus
ALLOW_FROM="10.11.45.208/28,10.11.75.0/28,10.11.45.20,10.11.45.18,10.11.45.35"
DENY_FROM="all"
POLICY="allow"
EOF
systemctl restart pveproxy spiceproxy
Ba lưu ý: (1) mọi node trong cụm và mọi client API (PDM, Prometheus, Terraform/Ansible) phải nằm trong ALLOW_FROM, vì request tới node khác được chuyển tiếp qua chính pveproxy; (2) restart pveproxy có thể ngắt console/shell đang mở, nên làm trong cửa sổ bảo trì; (3) không dùng LISTEN_IP trên máy trong cụm — tài liệu PVE khuyến cáo không đặt vì các node cần truy cập pveproxy của nhau. Giữ hai danh sách (mgmt-admins và ALLOW_FROM) sinh từ cùng một biến Ansible để không lệch nhau.
curl -sk -o /dev/null -w '%{http_code}\n' https://10.11.45.210:8006/    # từ máy được phép: 200
# từ máy không được phép: kết nối bị từ chối/đóng (cách phản hồi chính xác cần kiểm lại trên máy thật)

10.2 Xác thực hai yếu tố (2FA)

Tài liệu User Management: 2FA có thể do realm bắt buộc (TOTP kiểu OATH hoặc YubiKey OTP; khi đó user chưa có khoá sẽ không đăng nhập được) hoặc do từng user tự đăng ký (TOTP, WebAuthn, Recovery Keys). Cách thực tế cho lab và vận hành: mỗi tài khoản quản trị tự đăng ký TOTP và WebAuthn nếu có khoá FIDO2, kèm Recovery Keys; giữ root@pam làm tài khoản khẩn cấp cất kỹ, cũng bật TOTP (đã làm ở bài 02). Chính sách bắt buộc theo realm và đăng nhập OIDC qua Authentik nằm ở bài 08 và 14.

1
Đăng nhập WebUI bằng sysadmin@pam → menu tên người dùng góc trên phải → TFA (hoặc Datacenter → Permissions → Two Factor).
2
Add → TOTP: đặt Description (tên thiết bị), quét QR, nhập mã 6 số → Add.
WebUI sysadmin@pam → TFA → Add: TOTP: hộp thoại Add a TOTP login factor có mã QR, ô Description và ô Verify Code.
WebUI sysadmin@pam → TFA → Add: TOTP: hộp thoại Add a TOTP login factor có mã QR, ô Description và ô Verify Code.
3
Add → Recovery Keys: in/lưu 8 mã dùng một lần vào Vaultwarden (bài 19) hoặc két.
4
(Tuỳ chọn) Add → WebAuthn nếu đã cấu hình WebAuthn ở Datacenter → Options.
pveum user tfa list sysadmin@pam          # kiểm tra đã có TOTP + recovery
pveum user tfa list root@pam
pveum user tfa unlock sysadmin@pam        # khi user bị khoá do nhập sai mã quá nhiều lần

Giới hạn khoá: nhập sai TOTP 8 lần thì toàn bộ TOTP của user bị vô hiệu (mở lại bằng Recovery Key); WebAuthn và Recovery Keys cho 100 lần rồi khoá 1 giờ.

10.3 fail2ban cho 8006 và SSH

Cấu hình theo wiki chính thức của Proxmox (backend systemd vì PVE 9 không còn rsyslog mặc định). Debian 13 dùng banaction = nftables mặc định nên fail2ban tạo bảng nftables riêng, chạy song song với chain iptables của pve-firewall.

apt-get install -y fail2ban
cat > /etc/fail2ban/filter.d/proxmox.conf <<'EOF'
[Definition]
failregex = pvedaemon\[.*authentication failure; rhost=<HOST> user=.* msg=.*
ignoreregex =
journalmatch = _SYSTEMD_UNIT=pvedaemon.service
EOF
cat > /etc/fail2ban/jail.d/10-pve.local <<'EOF'
[DEFAULT]
# Không bao giờ chặn: dải node, hạ tầng quản trị (ops01, pbs01, pdm01, ups01, NAS), Prometheus, dải admin
ignoreip = 127.0.0.1/8 ::1 10.11.45.208/28 10.11.45.16/28 10.11.45.35 10.11.75.0/28

[proxmox]
enabled  = true
port     = https,http,8006
filter   = proxmox
backend  = systemd
maxretry = 3
findtime = 2d
bantime  = 1h

[sshd]
enabled  = true
maxretry = 4
bantime  = 1h
EOF
systemctl enable --now fail2ban && systemctl restart fail2ban
ignoreip là bắt buộc: pve-exporter/PDM dùng sai token một lần là bị authentication failure trong nhật ký pvedaemon và sẽ bị chặn nhầm. Chỉ liệt kê máy hợp lệ có thể sinh lỗi xác thực.
fail2ban-regex systemd-journal /etc/fail2ban/filter.d/proxmox.conf     # đăng nhập sai 1 lần rồi chạy: kỳ vọng "Failregex: 1 total"
fail2ban-client status
fail2ban-client status proxmox
# Thử cơ chế chặn một cách an toàn bằng IP trong dải TEST-NET (không ảnh hưởng ai)
fail2ban-client set proxmox banip 192.0.2.10
nft list ruleset | grep -B2 -A6 192.0.2.10
fail2ban-client set proxmox unbanip 192.0.2.10
Terminal node1: fail2ban-client status proxmox hiện Currently banned: 1 với IP thử 192.0.2.10 sau lệnh banip, trước khi chạy unbanip.
Terminal node1: fail2ban-client status proxmox hiện Currently banned: 1 với IP thử 192.0.2.10 sau lệnh banip, trước khi chạy unbanip.

10.4 Reverse proxy (tuỳ chọn)

Nguyên tắc: không đưa 8006 và 22 ra Internet. Truy cập từ xa đi qua VPN (Headscale ở bài 20 hoặc VPN của FortiGate) rồi vào dải mgmt-admins. Chỉ khi buộc phải publish, đặt sau reverse proxy có TLS thật, giới hạn IP nguồn, hỗ trợ WebSocket cho noVNC và bắt buộc 2FA; cấu hình mẫu nginx ở wiki Proxmox ("Web Interface Via Nginx Proxy"). Khi đó cũng thêm địa chỉ proxy vào ALLOW_FROM và ignoreip.

11

Hardening hệ điều hành host

Kiểm kê cổng đang lắng nghe và tắt dịch vụ thừa · Cập nhật bảo mật có kiểm soát · Tham số kernel (sysctl)

11.1 Kiểm kê cổng đang lắng nghe và tắt dịch vụ thừa

ss -tulpn | awk 'NR==1 || /LISTEN|UNCONN/' | sort -k5 | head -40
Terminal node1: ss -tulpn sau hardening chỉ còn sshd :22, pveproxy :8006, corosync UDP 5405, ceph-mon 3300/6789 và postfix 127.0.0.1:25; rpcbind :111 đã biến mất.
Terminal node1: ss -tulpn sau hardening chỉ còn sshd :22, pveproxy :8006, corosync UDP 5405, ceph-mon 3300/6789 và postfix 127.0.0.1:25; rpcbind :111 đã biến mất.
Dịch vụCổngCần không?Hành động
sshd22CóSiết như mục 9
pveproxy8006CóMục 10.1
spiceproxy3128Chỉ khi dùng SPICEFirewall đã giới hạn bằng management; tắt nếu không dùng: systemctl disable --now spiceproxy (WebUI dùng noVNC/xterm.js không phụ thuộc; cần kiểm lại trên máy thật)
rpcbind111Không, nếu không mount NFSv3systemctl disable --now rpcbind.service rpcbind.socket rồi systemctl mask hai unit này; bật lại nếu sau này thêm storage NFSv3
postfix25Dùng gửi cảnh báo, chỉ cục bộKiểm tra bên dưới; cấu hình relay ở bài 10
corosync, ceph-mon/mgr/osd5405, 3300, 6789, 68xxCóChỉ giữa node (firewall)
chrony323 (cục bộ)CóGiữ
ss -ltn '( sport = :25 )'                       # kỳ vọng 127.0.0.1:25, không phải 0.0.0.0:25
postconf inet_interfaces                        # nếu không phải loopback-only: postconf -e 'inet_interfaces = loopback-only' && systemctl restart postfix
systemctl disable --now rpcbind.service rpcbind.socket
systemctl mask rpcbind.service rpcbind.socket

KSM (gộp trang bộ nhớ giữa VM) có rủi ro kênh kề (side-channel) giữa các VM; tài liệu PVE khuyên cân nhắc tắt nếu chạy dịch vụ cho nhiều bên khác nhau (lab nội bộ có thể giữ):

systemctl status ksmtuned --no-pager | head -3
systemctl disable --now ksmtuned                # theo tài liệu PVE

11.2 Cập nhật bảo mật có kiểm soát

Với cụm HA + Ceph không bật tự cài đặt hàng loạt: cập nhật PVE, Ceph, kernel phải theo thứ tự từng node (bài 06). Hai mô hình:

Mô hìnhCách làmDùng khi
A. Khuyến nghịPVE tự chạy apt update hằng ngày (timer pve-daily-update) và gửi thông báo loại package-updates (bài 10); bạn cập nhật định kỳ theo bài 06, node thử nghiệm/staging trước, production sau, có snapshot PBSMọi môi trường production
B. Tuỳ chọnunattended-upgrades chỉ nguồn trixie-security của Debian, không tự reboot, loại các gói Proxmox/Ceph/kernelNode ngoài cụm (QDevice, bastion) hoặc node standalone nhỏ

Mô hình B (sửa /etc/apt/apt.conf.d/50unattended-upgrades: chỉ giữ dòng -security trong Origins-Pattern, thêm Blacklist):

apt-get install -y unattended-upgrades
# Trong 50unattended-upgrades: chỉ giữ
#   "origin=Debian,codename=${distro_codename}-security,label=Debian-Security";
# và đặt:
#   Unattended-Upgrade::Package-Blacklist { "proxmox-.*"; "pve-.*"; "libpve-.*"; "qemu-server"; "lxc-pve"; "ceph.*"; "librbd1"; "librados2"; "corosync.*"; "libknet.*"; "linux-image-.*"; };
#   Unattended-Upgrade::Automatic-Reboot "false";
printf 'APT::Periodic::Update-Package-Lists "1";\nAPT::Periodic::Unattended-Upgrade "1";\n' > /etc/apt/apt.conf.d/20auto-upgrades
unattended-upgrade --dry-run --debug 2>&1 | grep -Ei 'allowed origins|blacklist|packages that will be upgraded'

Cả hai mô hình đều cần cập nhật vi mã CPU (microcode): tài liệu PVE khuyên cập nhật BIOS/UEFI hoặc cài gói intel-microcode/amd64-microcode (thành phần non-free-firmware của Debian), cần reboot; kiểm tra bằng lscpu | grep -i vulnerab và grep microcode /proc/cpuinfo \| uniq.

11.3 Tham số kernel (sysctl)

Bài 02 đặt rp_filter = 0 với lý do hỗ trợ multicast của corosync; lý do này không còn đúng vì corosync 3 dùng unicast qua Kronosnet. Đặt về chế độ lỏng (2) vừa giữ chống giả mạo vừa an toàn cho nhiều NIC/mạng. File 99-pve-hardening.conf dưới đây được nạp sau 99-proxmox-ve.conf của bài 02 (theo thứ tự chữ cái, giá trị nạp sau thắng) nên ghi đè được hai dòng rp_filter = 0; có thể xoá hai dòng đó ở bài 02 cho gọn:

cat > /etc/sysctl.d/99-pve-hardening.conf <<'EOF'
# Chống giả mạo: reverse-path filter chế độ lỏng (an toàn cho multi-NIC, Ceph, corosync)
net.ipv4.conf.all.rp_filter = 2
net.ipv4.conf.default.rp_filter = 2
# Không nhận/gửi ICMP redirect, không nhận source-route
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
net.ipv6.conf.all.accept_redirects = 0
net.ipv6.conf.default.accept_redirects = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv6.conf.all.accept_source_route = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.ipv4.tcp_syncookies = 1
# Giảm lộ thông tin kernel
kernel.kptr_restrict = 2
kernel.dmesg_restrict = 1
EOF
sysctl --system | grep -E 'rp_filter|redirects|kptr' | head
sysctl net.ipv4.conf.all.rp_filter                 # = 2
corosync-cfgtool -s | grep -Ei 'connected|link'    # corosync vẫn kết nối
Đừng đặt net.ipv4.ip_forward = 0 (cần cho NAT/SDN/bridge định tuyến), đừng đổi net.bridge.bridge-nf-call-* (pve-firewall tự đặt khi chạy), đừng bật kernel.modules_disabled hay lockdown. Nếu log có quá nhiều "martian source", đừng bật log_martians đại trà trên node nhiều VLAN.

11.4 auditd và nhật ký

apt-get install -y auditd
cat > /etc/audit/rules.d/50-pve.rules <<'EOF'
-w /etc/ssh/sshd_config -p wa -k sshd_config
-w /etc/ssh/sshd_config.d/ -p wa -k sshd_config
-w /etc/passwd -p wa -k identity
-w /etc/group -p wa -k identity
-w /etc/shadow -p wa -k identity
-w /etc/sudoers -p wa -k sudoers
-w /etc/sudoers.d/ -p wa -k sudoers
-w /etc/default/pveproxy -p wa -k pveproxy
-w /etc/fail2ban/ -p wa -k fail2ban
-w /etc/sysctl.d/ -p wa -k sysctl
EOF
augenrules --load
auditctl -l | head

Không theo dõi trực tiếp /etc/pve (hệ thống file FUSE) hay config.db (ghi liên tục); dùng nhật ký nghiệp vụ của PVE thay thế:

NguồnNội dungCách xem
Task logMọi thao tác thay đổi qua WebUI/API (ai, lúc nào, kết quả)WebUI: node → Task History; pvenode task list --source all --limit 20
/var/log/pveproxy/access.logTruy cập HTTP vào 8006 (nguồn, user, URL)tail -f
journal pvedaemonLỗi xác thực (cũng là nguồn của fail2ban)journalctl -u pvedaemon -g 'authentication failure'
/var/log/pve-firewall.logGói bị DROP/REJECTMục 6.4
/var/log/audit/audit.logThay đổi file nhạy cảmausearch -k identity -i

Khi đã có SIEM/log tập trung: Wazuh agent (bài 17) đọc audit.log và auth, Alloy/Loki (bài 33) gom pve-firewall.log và journal.

11.5 Ngoài hệ điều hành

  • BMC/IPMI/iDRAC: đặt trong VLAN quản trị riêng, đổi mật khẩu mặc định, tắt dịch vụ không dùng; BMC bị chiếm là chiếm luôn host.
  • BIOS/UEFI: đặt mật khẩu, tắt boot từ USB nếu không cần, cập nhật firmware định kỳ.
  • Subscription: không có; chấp nhận thông báo "No valid subscription" của WebUI, không chỉnh sửa tệp hệ thống để ẩn.
12

Sao lưu cấu hình /etc/pve và host

/etc/pve là hệ thống file ảo (pmxcfs) lưu trong cơ sở dữ liệu SQLite /var/lib/pve-cluster/config.db. Theo tài liệu pmxcfs, khi một host hỏng nặng có thể sao chép config.db sang host mới (dừng pve-cluster, thay file với quyền 0600, chỉnh /etc/hostname và /etc/hosts). Vì vậy sao lưu config.db nhất quán kèm /etc của host là bảo hiểm cho cả cấu hình firewall, user.cfg, storage.cfg, ceph.conf.

Theo quy ước bài 04 mục 5.7 (một user vm-backup@pbs, mỗi máy một token và một namespace vm-<hostname>), coi mỗi node là một "máy": token vm-backup@pbs!node1, namespace vm-node1. Tạo namespace ở WebUI PBS (Datastore → Content → Add Namespace) rồi cấp quyền trên pbs01:

# Trên pbs01 — user dùng chung (nếu chưa có) và token + ACL cho từng node
proxmox-backup-manager user create vm-backup@pbs --comment 'In-VM file-level backup'
for n in node1 node2 node3 node4; do
  proxmox-backup-manager user generate-token vm-backup@pbs $n          # LƯU Secret, chỉ hiện một lần
  proxmox-backup-manager acl update /datastore/syno-primary/vm-$n DatastoreBackup --auth-id vm-backup@pbs
  proxmox-backup-manager acl update /datastore/syno-primary/vm-$n DatastoreBackup --auth-id "vm-backup@pbs!$n"
done

Trên mỗi node: sinh khoá mã hoá phía client (bản sao config.db chứa khoá riêng của cụm nên bắt buộc mã hoá) và file môi trường:

apt-get install -y sqlite3
proxmox-backup-client key create /root/.pve-config.key --kdf none     # CẤT BẢN SAO KHOÁ NGOÀI CỤM (bài 19)
install -m 600 /dev/null /etc/pve-config-backup.env
cat > /etc/pve-config-backup.env <<'EOF'
PBS_REPOSITORY='vm-backup@[email protected]:syno-primary'
PBS_PASSWORD='<TOKEN_SECRET>'
PBS_FINGERPRINT='<FINGERPRINT>'
EOF
#!/usr/bin/env bash
# /usr/local/sbin/pve-config-backup.sh — sao lưu config.db + /etc lên PBS (namespace vm-<hostname>)
set -euo pipefail
HOST=$(hostname -s)
STAGE=/var/backups/pve-config
mkdir -p "$STAGE"; chmod 700 "$STAGE"
sqlite3 /var/lib/pve-cluster/config.db ".backup '$STAGE/config.db'"       # bản sao nhất quán của pmxcfs
pvecm status        > "$STAGE/pvecm-status.txt"  2>&1 || true
pveversion -v       > "$STAGE/pveversion.txt"    2>&1 || true
iptables-save       > "$STAGE/iptables-save.txt" 2>&1 || true
. /etc/pve-config-backup.env
export PBS_REPOSITORY PBS_PASSWORD PBS_FINGERPRINT
proxmox-backup-client backup etc.pxar:/etc pvecfg.pxar:"$STAGE" \
  --ns vm-$HOST --backup-id "$HOST" --keyfile /root/.pve-config.key

/etc/pve là điểm mount FUSE nên pxar mặc định không đi vào (nội dung đã nằm trong config.db). Hẹn giờ 01:15 mỗi đêm (khung 00:30–01:30 theo quy ước lịch của lab, tránh 22:00 backup, 02:00 và 02:30 của các dịch vụ khác):

# /etc/systemd/system/pve-config-backup.service
[Unit]
Description=Sao lưu cấu hình PVE (config.db + /etc) lên PBS
After=network-online.target pve-cluster.service
Wants=network-online.target
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/pve-config-backup.sh
Nice=10

# /etc/systemd/system/pve-config-backup.timer
[Unit]
Description=Lịch sao lưu cấu hình PVE
[Timer]
OnCalendar=*-*-* 01:15
RandomizedDelaySec=10min
Persistent=true
[Install]
WantedBy=timers.target
chmod 750 /usr/local/sbin/pve-config-backup.sh
systemctl daemon-reload && systemctl enable --now pve-config-backup.timer
systemctl start pve-config-backup.service && journalctl -u pve-config-backup -n 20 --no-pager
proxmox-backup-client snapshot list --repository 'vm-backup@[email protected]:syno-primary' --ns vm-node1
Terminal node1: systemctl list-timers pve-config-backup.timer và proxmox-backup-client snapshot list cho namespace vm-node1 hiện snapshot host/node1 vừa tạo.
Terminal node1: systemctl list-timers pve-config-backup.timer và proxmox-backup-client snapshot list cho namespace vm-node1 hiện snapshot host/node1 vừa tạo.

Cấu hình firewall nên lưu thêm trong Git (Gitea ở bài 22) từ ops01: scp node1:/etc/pve/firewall/cluster.fw . rồi commit; đó là nguồn sự thật cho mục 13. Quy trình khôi phục node từ bản sao này nằm ở bài 11.

13

Áp dụng ở quy mô lớn (nhiều cluster, hàng trăm node)

Mô hình · Playbook mẫu · Triển khai theo đợt và phát hiện lệch cấu hình

13.1 Mô hình

Git (Gitea, bài 22)           ops01 (Ansible, bài 07)               Mỗi cluster / node
 inventory + group_vars  ──►  template cluster.fw.j2 / host.fw.j2 ──► /etc/pve/firewall/cluster.fw
 (IP node, mgmt-admins)       playbook: kiểm tra → sao lưu → đẩy    (1 node đại diện/cluster; pmxcfs nhân bản)
                              → canary → từng đợt → kiểm tra
  • Một nguồn sự thật (biến Ansible) sinh ra cả IPSet mgmt-admins, ALLOW_FROM của pveproxy, AllowGroups trong sshd và ignoreip của fail2ban, để các lớp không lệch nhau.
  • Mỗi cluster có file cluster.fw riêng (alias/IPSet chỉ có hiệu lực trong cluster); node standalone mỗi máy một file.
  • Thêm node vào cụm: (1) thêm IP vào ipset-pve-nodes và local_network hợp lệ, đẩy cấu hình; (2) pvecm add; (3) kiểm tra pve-firewall compile không cảnh báo, pvecm status đủ phiếu.

13.2 Playbook mẫu

Chạy từ ops01 (bài 07) hoặc máy quản trị bất kỳ có Ansible và khoá SSH tới sysadmin. Ví dụ dưới dùng ansible.builtin thuần (không phụ thuộc module firewall bên thứ ba) và ghi vào /etc/pve bằng cp để tránh các vấn đề thuộc tính tệp trên pmxcfs. Đây là mẫu, chạy thử trên cluster staging trước và kiểm tra cú pháp bằng ansible-playbook --syntax-check.

# pve-firewall.yml — inventory: nhóm pve_nodes (mọi node) và pve_cluster_leaders (1 node đại diện / cluster)
- name: A. Chuẩn bị — kiểm tra quorum, sao lưu, dừng daemon firewall (chưa nạp rule)
  hosts: pve_nodes
  become: true
  gather_facts: false
  tags: [prepare]
  tasks:
    - name: Cụm phải có quorum
      ansible.builtin.shell: pvecm status | grep -Eq 'Quorate:\s+Yes'
      changed_when: false
    - name: Sao lưu cấu hình firewall hiện tại
      ansible.builtin.shell: cp -a /etc/pve/firewall /root/fw-backup-$(date +%F-%H%M%S)
      args:
        removes: /etc/pve/firewall
    - name: Dừng pve-firewall (chưa có rule nào được nạp cho tới pha C)
      ansible.builtin.systemd:
        name: pve-firewall
        state: stopped

- name: B. Đẩy cluster.fw (bật enable) và kiểm tra bằng compile
  hosts: pve_cluster_leaders
  become: true
  gather_facts: false
  tags: [push]
  vars:
    fw_enable: 1
  tasks:
    - name: Sinh file từ template Jinja2 vào thư mục tạm
      ansible.builtin.template:
        src: cluster.fw.j2
        dest: /root/cluster.fw.new
        mode: "0600"
    - name: Ghi vào pmxcfs nếu khác bản hiện tại
      ansible.builtin.shell: |
        mkdir -p /etc/pve/firewall
        if ! cmp -s /root/cluster.fw.new /etc/pve/firewall/cluster.fw; then
          cp /root/cluster.fw.new /etc/pve/firewall/cluster.fw && echo CHANGED
        fi
      register: cp_out
      changed_when: "'CHANGED' in cp_out.stdout"
    - name: compile không được in cảnh báo (stderr rỗng)
      ansible.builtin.command: pve-firewall compile
      register: comp
      changed_when: false
      failed_when: comp.stderr | length > 0

- name: C. Bật lần lượt — canary 1 node, rồi 25 %, rồi phần còn lại
  hosts: pve_nodes
  become: true
  gather_facts: false
  serial: [1, "25%", "100%"]
  tags: [enable]
  tasks:
    - name: Công tắc người chết — tự gỡ firewall sau 15 phút nếu chưa huỷ
      ansible.builtin.command: systemd-run --unit=fw-guard --on-active=15min /usr/sbin/pve-firewall stop
    - name: Khởi động pve-firewall
      ansible.builtin.systemd:
        name: pve-firewall
        state: started
    - name: Kiểm tra quorum (và Ceph nếu có) sau khi bật
      ansible.builtin.shell: |
        set -e
        sleep 20
        pvecm status | grep -Eq 'Quorate:\s+Yes'
        if command -v ceph >/dev/null && [ -f /etc/pve/ceph.conf ]; then ceph health | grep -Eq 'HEALTH_(OK|WARN)'; fi
      changed_when: false
    - name: Huỷ công tắc người chết (chỉ chạy được nếu kiểm tra trên thành công)
      ansible.builtin.command: systemctl stop fw-guard.timer

Mảnh Jinja2 tiêu biểu cho cluster.fw.j2 (nội dung còn lại giống mục 4):

[OPTIONS]
enable: {{ fw_enable }}
policy_in: DROP
policy_out: ACCEPT

[ALIASES]
local_network {{ pve_local_network }}
{% for n in pve_cluster_nodes %}
{{ n.name }} {{ n.ip }}
{% endfor %}

[IPSET ipset-pve-nodes]
{% for n in pve_cluster_nodes %}
{{ n.name }}
{% endfor %}

13.3 Triển khai theo đợt và phát hiện lệch cấu hình

ViệcCách làm
Đợt triển khaiCluster staging trước (bài 06), rồi cluster production nhỏ nhất, rồi các cluster còn lại; mỗi đợt dừng nếu pvecm status hoặc ceph health xấu đi
Cửa sổ rollbackCông tắc fw-guard 15 phút; nếu hàng loạt cluster cùng lỗi, chạy pvesh set /cluster/firewall/options --enable 0 qua Ansible ad-hoc
Phát hiện lệch cấu hình (drift)Hằng đêm trên ops01: ansible pve_cluster_leaders -b -m ansible.builtin.fetch -a 'src=/etc/pve/firewall/cluster.fw dest=drift/' rồi so với bản trong Git; báo lệch qua Mattermost/Alertmanager (bài 37, 15)
Quy mô conntrackVới node chạy hàng trăm VM, theo dõi dmesg | grep 'table full' và tăng nf_conntrack_max trong host.fw (mặc định 262144)
LogChuyển /var/log/pve-firewall.log về Loki (bài 33); đặt log_level_in ở mức vừa đủ để không tràn
Tầm nhìn tổng thểPDM (bài 04) cho cái nhìn tập trung nhiều cluster/standalone; cấu hình rule vẫn đi qua Git + Ansible

13.4 Thay thế bằng OpenTofu/Terraform

Provider bpg/proxmox (0.116.1 ngày 2026-10-15) có các resource quản lý firewall: proxmox_virtual_environment_cluster_firewall, proxmox_virtual_environment_cluster_firewall_security_group, proxmox_virtual_environment_firewall_ipset, proxmox_virtual_environment_firewall_alias, proxmox_virtual_environment_firewall_rules, proxmox_virtual_environment_firewall_options. Ví dụ tuỳ chọn cấp cluster lấy từ tài liệu provider (dùng một lần cho mỗi cluster):

resource "proxmox_virtual_environment_cluster_firewall" "hoatranhub" {
  enabled        = false          # bật sau khi rule đã đủ (mục 6)
  ebtables       = true
  input_policy   = "DROP"
  output_policy  = "ACCEPT"
  forward_policy = "ACCEPT"
}

Dùng token API svc-automation@pve!ansible (hoặc token riêng cho Terraform) với quyền tối thiểu theo bảng ở mục 4.1 (bài 08 chuẩn hoá vai trò).

14

Công cụ & chi phí

Mục tiêuGiải pháp miễn phíChi phíKhi nào cần trả phí
Firewall host/VMpve-firewall có sẵn0Cần kiểm tra sâu tầng ứng dụng giữa VLAN: thiết bị chuyên dụng (đã có FortiGate)
IPS cho VMSuricata theo hướng dẫn trong chương Firewall (ips: 1 trong <VMID>.fw) hoặc CrowdSec (bài 36)CPU/RAMHiếm khi cần trả phí ở quy mô doanh nghiệp vừa
Chống dò mật khẩufail2ban, PerSourcePenalties của OpenSSH0—
2FATOTP/WebAuthn/Recovery Keys có sẵn; privacyIDEA/Authentik (bài 18, 14)0—
Audit/SIEMauditd + Wazuh (bài 17) + Loki (bài 33)0—
Cập nhậtRepo pve-no-subscription + quy trình bài 060Subscription cho enterprise repo và hỗ trợ chính thức — không bắt buộc; rủi ro là repo no-subscription ít kiểm thử hơn nên cập nhật theo vòng staging → production
Quản lý hàng loạtAnsible, OpenTofu/Terraform, PDM0—

Troubleshooting

Triệu chứngNguyên nhânCách xử lý
Mất WebUI/SSH ngay sau khi bật firewallIP nguồn của bạn không thuộc mgmt-admins; hoặc local_network đã thu hẹpChờ fw-guard tự gỡ, hoặc vào console chạy pve-firewall stop; thêm IP vào IPSet mgmt-admins (echo "${SSH_CLIENT%% *}" cho biết IP của bạn) rồi dry-run lại
Cluster not ready - no quorum? / node rơi khỏi cụm sau khi bậtCorosync bị chặn: node mới chưa có trong ipset-pve-nodes; link thứ hai dùng cổng ≥ 5406Console: pve-firewall stop; kiểm tra corosync-cfgtool -s, pve-firewall localnet (phần corosync), rule 5405:5412; bổ sung rồi bật lại
Ceph HEALTH_WARN, OSD/MON báo down, slow ops sau khi bậtThiếu 3300,6789,6800:7568 hoặc dải storage khác ipset-pve-nodesgrep -E 'DPT=(3300|6789|68[0-9][0-9])' /var/log/pve-firewall.log; bật rule ipset-storage hoặc thêm nguồn đúng
Live-migration treo/lỗi "connection timed out"Thiếu 60000:60050 hoặc SSH node ↔ node bị chặnKiểm tra sg-pve-cluster; thử ssh node2 hostname từ node1
PDM/Prometheus không kết nối được nodeThiếu rule 8006 cho nguồn đó; hoặc ALLOW_FROM của pveproxy thiếu IPThêm vào sg-pve-integr (bỏ dấu |) và vào ALLOW_FROM; systemctl restart pveproxy
pve-firewall status báo (pending changes) hoặc rule không lênCú pháp lỗi: alias/IPSet chưa tồn tại, section sai thứ tựpve-firewall compile 1>/dev/null để xem cảnh báo; journalctl -u pve-firewall -n 30; kiểm tra thứ tự OPTIONS → ALIASES → IPSET → RULES
VM mất mạng sau khi tick Firewallpolicy_in DROP mà chưa có rule; ipfilter-net0 sai IP; MAC đổi do qm set --net0 thiếu MACThêm rule/nhóm; sửa IPSet; đối chiếu MAC bằng qm config <vmid> | grep net0, dùng đúng lệnh ở mục 7.1
Console VM trên node khác lỗi vncproxy failed sau khi siết SSHroot từ dải node bị AllowGroups chặn hoặc khoá SSH node ↔ node hỏngsshd -T -C user=root,host=node2,addr=<IP node> phải thấy root trong allowgroups; nếu khoá hỏng: pvecm updatecerts --force (bài 03 mục 7.7)
Không join được node mới sau khi bật firewallIP node mới ngoài local_network, chưa có trong IPSetThêm IP vào ipset-pve-nodes trước khi pvecm add
fail2ban chặn nhầm Prometheus/PDMThiếu trong ignoreipfail2ban-client set proxmox unbanip <IP>; thêm vào ignoreip
Không đăng nhập được WebUI dù firewall mởALLOW_FROM thiếu IP hoặc đặt POLICY="deny" cùng DENY_FROM="all"Sửa /etc/default/pveproxy (dùng POLICY="allow"), systemctl restart pveproxy
nf_conntrack: table full, dropping packet trong dmesgNhiều kết nối đồng thờiTăng nf_conntrack_max trong host.fw của node
iptables-save không còn chain PVEFWDaemon bị dừng (fw-guard đã chạy hoặc pve-firewall stop)systemctl start pve-firewall; kiểm tra pve-firewall status
Sau reboot mất rule fail2ban hay firewallDịch vụ chưa enablesystemctl enable pve-firewall fail2ban

Checklist nghiệm thu

  • pvecm status đủ phiếu, ceph -s là HEALTH_OK sau khi bật firewall trên cả 4 node
  • pve-firewall status trên mọi node: Status: enabled/running; iptables-save | grep -c PVEFW lớn hơn 0
  • cluster.fw có policy_in: DROP, policy_out: ACCEPT, local_network 10.11.45.208/28; pve-firewall compile không in cảnh báo
  • IPSet mgmt-admins chứa IP máy quản trị thật; thử từ máy ngoài danh sách bị chặn 22 và 8006
  • Rule corosync 5405:5412, Ceph 3300,6789,6800:7568, migration 60000:60050 có trong pve-firewall compile
  • Live-migrate một VM test giữa hai node thành công khi firewall đang bật
  • /etc/pve/firewall/101.fw áp dụng cho pbs01; vzdump ... --storage pbs-primary vẫn thành công
  • sysadmin tồn tại trên mọi node, đăng nhập bằng khoá và sudo được; đã tạo sysadmin@pam với quyền Administrator
  • sshd -T -C ... ra đúng ba kết quả ở mục 9.4; ssh root@node1 từ máy admin bị từ chối; ssh node2 từ node1 vẫn vào được
  • Mở Shell của node khác từ WebUI và migrate VM sau khi siết SSH đều hoạt động
  • /etc/default/pveproxy có ALLOW_FROM, DENY_FROM="all", POLICY="allow"; truy cập từ nguồn lạ bị từ chối
  • TOTP + Recovery Keys đã đăng ký cho sysadmin@pam và root@pam (pveum user tfa list)
  • fail2ban chạy, fail2ban-regex ra "Failregex: 1 total", thử banip/unbanip bằng 192.0.2.10 thành công
  • ss -tulpn không còn dịch vụ thừa (rpcbind đã tắt nếu không dùng NFSv3); postfix chỉ lắng nghe loopback
  • /etc/sysctl.d/99-pve-hardening.conf áp dụng (rp_filter = 2), corosync vẫn kết nối
  • Lịch cập nhật bảo mật theo bài 06 đã thống nhất; microcode CPU đã cập nhật (grep microcode /proc/cpuinfo | uniq)
  • auditd chạy, auditctl -l liệt kê rule; log đã được định hướng gom về Wazuh/Loki khi có (bài 17, 33)
  • Timer pve-config-backup.timer hoạt động, snapshot vm-node1… xuất hiện trên PBS; khoá .pve-config.key đã cất ngoài cụm
  • Kế hoạch rollback (mục 3.4) đã diễn tập ít nhất một lần trên cluster thử nghiệm; bản sao /root/fw-backup-* còn trên mọi node
  • Với môi trường lớn: template Ansible nằm trong Git, đã chạy thử playbook theo pha prepare → push → enable trên staging

Tài liệu tham khảo

Zalo