Chứng chỉ Proxmox ACME + step-CA
Cấp và tự gia hạn chứng chỉ HTTPS cho PVE, PBS, PDM bằng ACME từ step-CA nội bộ.
Bối cảnh & Lý do triển khai
Mặc định mỗi node Proxmox VE dùng chứng chỉ do CA tự ký của chính cluster (pve-root-ca.pem). Trình duyệt luôn cảnh báo "không an toàn", còn công cụ tự động hoá (Ansible, OpenTofu, prometheus-pve-exporter, PDM, PBS) buộc phải "ghim" fingerprint hoặc tắt kiểm tra TLS — vừa kém an toàn, vừa vỡ mỗi khi chứng chỉ đổi. Bài này cấp cho mỗi node (và cả PBS, PDM) một chứng chỉ do step-CA nội bộ của lab (bài 13) ký qua giao thức ACME, tự gia hạn bằng dịch vụ có sẵn của Proxmox. Cách làm giống nhau cho 1 node lẻ lẫn hàng trăm node, không cần subscription, không cần tên miền hay Internet.
| Mục | Nội dung |
|---|---|
| Ứng dụng trong DN | HTTPS tin cậy cho giao diện/API của mọi node Proxmox VE, PBS và PDM; cho phép đặt verify_ssl=true trong Ansible, OpenTofu, proxmoxer, pve-exporter; chuẩn hoá chứng chỉ khi mở rộng từ 1 lên hàng trăm node |
| Tác dụng chính | Mỗi node có chứng chỉ nodeN.hoatranlabs.local do step-CA cấp (90 ngày) bằng pvenode acme, tự gia hạn qua pve-daily-update; root CA được tin cậy trên node và máy quản trị; bỏ việc ghim fingerprint |
| Nếu không triển khai | Cảnh báo chứng chỉ ở mọi lần mở GUI; phải ghim fingerprint trong storage PBS, PDM, PBS Remote và tắt kiểm tra TLS ở công cụ tự động hoá; mỗi lần cert đổi lại phải sửa tay |
| Các service phụ thuộc vào đây | Kiểm tra TLS của công cụ tự động hoá và pve-exporter (bài 07, bài 15), đăng nhập OIDC và thông báo qua HTTPS/SMTP (bài 08, bài 10) vì node phải tin root CA; storage pbs-primary và PDM remote (bài 04) |
Ngày cập nhật: 2026-10-15
Môi trường: HOATRANLABS – PVE 9.2.20 (cluster HOATRANHUB) · PBS 4.2 · PDM 1.1
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
| node1 (Proxmox VE) | 10.11.45.210 | 45 (MGMT) · cluster HOATRANHUB | Máy chủ của bài — đăng ký ACME account cho cả cluster, đặt domain node1.hoatranlabs.local và chạy pvenode acme cert order đầu tiên. |
| node2 (Proxmox VE) | 10.11.45.211 | 45 (MGMT) · cluster HOATRANHUB | Node cluster: domain node2.hoatranlabs.local, chứng chỉ đặt bằng pvesh từ node1 hoặc Ansible; chứa VM ops01 chạy playbook (bài 07). |
| node3 (Proxmox VE) | 10.11.45.212 | 45 (MGMT) · cluster HOATRANHUB | Node cluster: domain node3.hoatranlabs.local, nhận chứng chỉ step-CA bằng pvenode/pvesh; tự gia hạn qua pve-daily-update. |
| node4 (Proxmox VE) | 10.11.45.213 | 45 (MGMT) · cluster HOATRANHUB | Node cluster: domain node4.hoatranlabs.local; chứa VM pbs01 và pdm01, các VM này cũng nhận chứng chỉ ở mục PBS/PDM. |
| node5 (Proxmox VE standalone) | 10.100.100.20 | Site phụ 10.100.100.0/24 · standalone | PVE standalone site phụ: tự đăng ký ACME account riêng, domain node5.hoatranlabs.local; cổng 80 mở từ step-CA qua kết nối site phụ. |
| node6 (Proxmox VE standalone) | 10.100.100.21 | Site phụ 10.100.100.0/24 · standalone | PVE standalone site phụ: account ACME riêng, domain node6.hoatranlabs.local, cách làm giống node5. |
| step-ca (step-CA PKI) · VM242 | 10.11.25.42 | 25 (SEC) · node1 | CA nội bộ (bài 13): provisioner acme, chứng chỉ 2160h; gọi vào cổng 80 của node để kiểm tra http-01; cần mở UFW cổng 9000 cho site phụ. |
| pihole (Pi-hole DNS) · VM247 | 10.11.45.53 | 45 (MGMT) · node3 | Phân giải node1…node6, pbs01, pbsdr01, pdm01 cho step-CA khi kiểm tra http-01 và cho node tra tên nhau (bài 12). |
| pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | Nhận chứng chỉ step-CA bằng proxmox-backup-manager acme; storage pbs-primary trên PVE chuyển sang FQDN và bỏ ghim fingerprint (bài 04). |
| pbsdr01 (PBS DR) | 10.100.100.6 | Site phụ 10.100.100.0/24 · site phụ | PBS DR site phụ: chứng chỉ ACME như pbs01; Remote pbs-dr trên pbs01 bỏ ghim fingerprint, trỏ bằng FQDN (bài 04). |
| pdm01 (Proxmox Datacenter Manager) · VM102 | 10.11.45.18 | 45 (MGMT) · node4 | PDM: chứng chỉ step-CA cài tay vào api.pem, gia hạn bằng timer; xác thực các remote bằng root CA thay vì fingerprint (bài 04). |
| ops01 (Ansible/OpenTofu + bastion) · VM290 | 10.11.45.20 | 45 (MGMT) · node2 | Máy tự động hoá: chạy playbook pve-acme.yml, script check-pve-certs.sh và timer kiểm tra hạn chứng chỉ 05:15 (bài 07). |
| FortiGate (firewall) | 10.100.100.1 | Quản trị 10.100.100.0/24 · thiết bị mạng | Policy giữa VLAN: step-CA tới cổng 80 của node (25 → 45 và site phụ), node tới cổng 9000 của step-CA (bài 03). |
| prometheus (Prometheus + Alertmanager) · VM235 | 10.11.45.35 | 45 (MGMT) · node2 | pve-exporter bật PVE_VERIFY_SSL=true, gọi node bằng FQDN và tin root CA step-CA (bài 15). |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Máy trạm quản trị và trình duyệt là máy tùy ý nên không liệt kê; chỉ cần tin root CA của step-CA (mục 3.4).
Tổng quan
Thông số bài · Phiên bản phần mềm sử dụng · Công cụ & chi phí
Proxmox VE có sẵn ACME client (lệnh pvenode acme, menu Datacenter → ACME). Tài liệu chính thức chỉ nói tới Let's Encrypt, nhưng client vẫn nhận một ACME directory tuỳ chọn (--directory), nên trỏ được vào step-CA. Luồng khi pvenode acme cert order chạy trên node1:
- node1 gọi
https://step-ca.hoatranlabs.local:9000/acme/acme/directory(HTTPS, nên node phải tin root CA), đăng ký order cho tênnode1.hoatranlabs.local. - step-CA trả challenge http-01. node1 mở một web server tạm ở cổng 80 để trả token.
- step-CA phân giải
node1.hoatranlabs.localqua DNS (Pi-hole, bài 12) rồi gọihttp://node1.hoatranlabs.local/.well-known/acme-challenge/<token>. - Hợp lệ → node1 gửi CSR, step-CA ký và trả chứng chỉ (leaf + intermediate).
- Proxmox ghi
pveproxy-ssl.pemvàpveproxy-ssl.keyvào/etc/pve/nodes/node1/, rồi restartpveproxy.
Trình duyệt · Ansible · PDM · pve-exporter (đã tin root CA của lab)
│ HTTPS 8006 (PBS 8007, PDM 8443)
▼
┌───────────────────────────────────────────────────┐
│ node1…node4 (HOATRANHUB) · node5, node6 │
│ pvenode acme ──(1) HTTPS :9000 ───────────────┐ │
│ plugin standalone ◄─(3) HTTP-01 :80 ─────┐ │ │
└───────────────────────────────────────────┼────┼──┘
│ ▼
┌───────────────┴──────────────┐
│ step-ca (VM242) 10.11.25.42 │
│ /acme/acme/directory │
└───────────────┬──────────────┘
│ (2) phân giải nodeN.hoatranlabs.local
▼
Pi-hole 10.11.45.53 (bài 12)
pve-ssl.pem và pve-root-ca.pem (do CA của cluster ký) vẫn phục vụ giao tiếp nội bộ giữa các node; tài liệu Proxmox cấm sửa hai file này. ACME chỉ tạo thêm pveproxy-ssl.pem, thứ mà pveproxy (cổng 8006) ưu tiên dùng. Muốn quay về chứng chỉ mặc định chỉ cần xoá file này (mục 12.4).
Thông số bài
| Thông số | Giá trị |
|---|---|
| Phiên bản PVE | 9.2 (Debian 13) |
| Quy mô áp dụng | 1 node → hàng trăm node |
| CA nội bộ | step-CA (bài 13) |
| Provisioner ACME | acme |
| Challenge | HTTP-01 (standalone) |
| Thời hạn chứng chỉ | 90 ngày (2160h) |
| Gia hạn | tự động, pve-daily-update |
| Công cụ chính | pvenode · pvesh · Ansible |
| Điều kiện tiên quyết | Bài 12, 13 (và 05) |
| Thời gian thực hiện | ~45 phút (4 node) |
| Repo | pve-no-subscription |
https://step-ca.hoatranlabs.local:9000/acme/acme/directory — dạng /acme/<tên provisioner>/directory, provisioner tên acme đã tạo ở bài 13 (Bước 6; xem thêm mục "ACME Provisioner Cho Proxmox VE / PBS (bài 09)" của bài 13 cho phía CA). Root CA: /etc/step-ca/certs/root_ca.crt trên VM242; thời hạn mặc định và tối đa của chứng chỉ: 2160h (claims ở bài 13).
Phiên bản phần mềm sử dụng
Đối chiếu tài liệu chính thức ngày 2026-10-15.
| Thành phần | Phiên bản | Ghi chú |
|---|---|---|
| Proxmox VE | 9.2.20 (Debian 13 "trixie") | Lệnh đối chiếu với man page pvenode(1) của PVE 9.2.13 và API viewer. Không dùng repo enterprise, không vá giao diện. |
| Proxmox Backup Server | 4.2 | proxmox-backup-manager acme .... GUI chỉ có sẵn Let's Encrypt, dùng CLI cho step-CA (mục 8). |
| Proxmox Datacenter Manager | 1.1 | Có ACME nhưng GUI chỉ liệt kê Let's Encrypt; dùng cert cấp từ step-CA cài tay (mục 9). |
| step-CA | 0.30.2 (theo bài 13) | Đã nâng khỏi 0.27.4 vì CVE-2025-44005 (ACME/SCEP bỏ qua xác thực, vá từ 0.29.0; mục 12.1). ACME provisioner acme, claims 2160h. Bài này không cài thêm gì lên VM242 ngoài việc mở cổng cho site phụ (mục 1.3). |
| step-cli | 0.31.0 (gói .deb, theo bài 13) | Do distribute-root-ca.sh cài lên node/PBS/PDM ở mục 3.1; chỉ dùng step ca root, step ca certificate, step ca renew. Cặp CLI 0.31.0 với step-ca 0.30.2: bài 13 ghi cần kiểm lại trên máy thật. |
| Ansible | ansible-core ≥ 2.14 (cài ở bài 07 trên ops01, Ubuntu 24.04) | Playbook chỉ dùng module ansible.builtin, không cần cài collection. |
| chrony | bản có sẵn trong Debian 13 / PVE 9 | Đồng bộ giờ (mục 1.1). |
| Let's Encrypt (tuỳ chọn) | production + staging | Chỉ dùng khi có tên miền thật (mục 11.3). |
Công cụ & chi phí
Toàn bộ miễn phí: pvenode/pvesh có sẵn trong Proxmox, step-CA là phần mềm mã nguồn mở, Ansible và openssl miễn phí. Không cần subscription (repo pve-no-subscription vẫn nhận gói pve-manager, trong đó có ACME client). Không cần mua chứng chỉ thương mại. Chi phí duy nhất có thể phát sinh là nhà cung cấp DNS có API nếu chọn Let's Encrypt với DNS-01 (mục 11.3), không áp dụng cho lab.
Quy mô triển khai
Một ACME account cho mỗi cluster (tài liệu Proxmox), mỗi node một domain riêng. Số node tăng không làm đổi cách làm, chỉ đổi cách tự động hoá:
| Quy mô | Cách làm | Ghi chú |
|---|---|---|
| 1 node standalone | Làm tay trên GUI hoặc CLI (mục 4–5). Account riêng cho node đó. | Node vẫn cần FQDN phân giải được từ step-CA. Không cần cụm nào khác. |
| 2–3 node (QDevice) | Một account cho cả cluster, mỗi node một domain; chạy pvenode trên từng node hoặc pvesh từ một node (mục 5.5). | QDevice (corosync-qnetd) không liên quan tới chứng chỉ ACME. |
| Cluster 4–~30 node (HOATRANHUB là ví dụ) | pvesh hoặc Ansible từ ops01 (mục 10). | Tài liệu pvecm ghi không có giới hạn cứng số node và có báo cáo cluster hơn 50 node (số liệu 2021); các mốc trong bảng này là khuyến nghị vận hành, không phải giới hạn cứng. |
| > ~30 node | Chia nhiều cluster, mỗi cluster một account; Ansible chạy theo lô (serial) từ ops01; PDM (bài 04) quản lý tập trung; root CA đưa vào bước cài đặt ban đầu; cân nhắc bản step-CA dự phòng. | Mỗi node gia hạn khoảng 60 ngày một lần, và pve-daily-update có độ trễ ngẫu nhiên 5 giờ nên tải lên step-CA rất thấp (hàng trăm node chỉ vài order mỗi ngày). |
nodeN.hoatranlabs.local phải có bản ghi DNS (Pi-hole, bài 12) TRƯỚC khi đặt chứng chỉ; nguồn sự thật cho danh sách node nên là NetBox (bài 23) hoặc file inventory Ansible, không phải trí nhớ.
Phụ thuộc (Dependencies)
| Thành phần | Bài | Trạng thái cần có | Dùng để |
|---|---|---|---|
| Node Proxmox VE (cluster HOATRANHUB, node5, node6) | 02, 03 | Running; cluster Quorate | Nơi đặt chứng chỉ |
Pi-hole: bản ghi A cho node1…node6, pbs01, pbsdr01, pdm01 | 12 | Phân giải đúng | step-CA tìm IP của node khi kiểm tra http-01 |
step-CA 0.30.2: provisioner acme, root CA, /health trả ok (bài 13, Bước 6 và mục "ACME Provisioner Cho Proxmox VE / PBS") | 13 | Running | Cấp chứng chỉ |
| Firewall: TCP 80 từ step-CA tới node; TCP 9000 từ node tới step-CA | 05 và FortiGate (bài 03) | Đã mở | Challenge http-01 và gọi ACME |
| PBS (pbs01, pbsdr01) và PDM (pdm01) | 04 | Running | Mục 7, 8, 9 |
| ops01 (Ansible) | 07 | Tuỳ chọn | Mục 10 |
Lộ trình đề xuất khi đi tuần tự:
- Lúc đang ở bài 09: đọc Tổng quan; làm mục 1.1 (giờ), mục 2 (dùng chứng chỉ mặc định, ghi lại những nơi đang ghim fingerprint). Mọi thứ vẫn chạy được.
- Sau bài 12 và bài 13: quay lại làm mục 1.2–1.4, rồi mục 3 → 10.
Các bài 07, 08, 10, 15 đã tính trước việc node chưa có chứng chỉ ACME: tạm đặt verify_ssl=false hoặc ghim fingerprint, và sau khi xong bài này chuyển sang kiểm tra bằng root CA (mục 7.5).
Chuẩn bị chung: giờ, DNS, cổng 80
Đồng bộ thời gian · DNS: nodeN.hoatranlabs.local phải phân giải được · Cổng và firewall
1.1 Đồng bộ thời gian
Giờ lệch làm TLS tới step-CA báo "chưa có hiệu lực/đã hết hạn" và trình duyệt cảnh báo chứng chỉ mới cấp. Kiểm tra trên mọi node, PBS, PDM và VM242:
timedatectl status | grep -E "Time zone|System clock|NTP service"
chronyc tracking | grep -E "Reference ID|System time|Leap status"
# Kỳ vọng: System clock synchronized: yes; System time lệch dưới 1 giây
# Lệch nhiều: chronyc makestep
1.2 DNS: nodeN.hoatranlabs.local phải phân giải được
Có hai chiều phân giải, đều phải đúng:
| Ai tra tên | Tên cần phân giải | Vì sao |
|---|---|---|
| step-CA (VM242) | node1…node6, pbs01, pbsdr01, pdm01 .hoatranlabs.local | Gọi vào đúng IP của node để kiểm tra http-01 |
| Chính node đó và máy quản trị | tên FQDN của node | Truy cập GUI/API bằng tên có trong chứng chỉ (chứng chỉ ACME chỉ chứa tên, không chứa IP) |
# Chạy trên VM242 (step-ca): kiểm tra đủ tên
for h in node1 node2 node3 node4 node5 node6 pbs01 pbsdr01 pdm01; do
printf '%-8s -> ' "$h"; getent hosts "$h.hoatranlabs.local" | awk '{print $1}'
done
# Mỗi dòng phải ra đúng IP theo bảng bài 12 (node1 = 10.11.45.210 ...)
Pi-hole (bài 12) đã có đủ các bản ghi trên. Nếu bài 12 chưa làm, tạm thêm vào /etc/hosts của VM242 và xoá đi khi Pi-hole sẵn sàng:
cat >> /etc/hosts <<'EOF'
10.11.45.210 node1.hoatranlabs.local
10.11.45.211 node2.hoatranlabs.local
10.11.45.212 node3.hoatranlabs.local
10.11.45.213 node4.hoatranlabs.local
10.100.100.20 node5.hoatranlabs.local
10.100.100.21 node6.hoatranlabs.local
10.11.45.17 pbs01.hoatranlabs.local
10.100.100.6 pbsdr01.hoatranlabs.local
10.11.45.18 pdm01.hoatranlabs.local
EOF
/etc/hosts của VM242 mà dùng DNS trong compose (dns: 10.11.45.53, tức Pi-hole). Nếu Pi-hole chưa có, thêm các dòng trên vào mục extra_hosts: (dạng "node1.hoatranlabs.local:10.11.45.210") của /opt/step-ca/docker-compose.yml rồi docker compose -f /opt/step-ca/docker-compose.yml up -d, và kiểm tra bằng docker exec step-ca getent hosts node1.hoatranlabs.local; xoá các dòng này khi Pi-hole sẵn sàng.nodeN.hoatranlabs.local vào /etc/hosts của các node. Chứng chỉ ACME chỉ cần tên trong domains= phân giải về đúng node; nó không bắt buộc trùng với FQDN đã gõ lúc cài PVE ở bài 02. Giữ nguyên hostname ngắn nodeN, không đổi hostname chỉ để khớp chứng chỉ..local và mDNS: nếu getent hosts nodeN.hoatranlabs.local không ra kết quả nhưng host nodeN.hoatranlabs.local 10.11.45.53 ra, dòng hosts: trong /etc/nsswitch.conf đang có mdns4_minimal [NOTFOUND=return] (do cài avahi/libnss-mdns): xoá mục này, như bài 25 mục 13.9.1.3 Cổng và firewall
| Từ | Đến | Cổng | Mục đích | Mở ở đâu |
|---|---|---|---|---|
| node1…node4, pbs01, pdm01 (VLAN 45) | step-ca 10.11.25.42 (VLAN 25) | TCP 9000 | Gọi ACME, tải root CA | FortiGate; UFW VM242 (bài 13 đã mở cho 10.11.0.0/16) |
node5, node6, pbsdr01 (site phụ 10.100.100.0/24) | step-ca 10.11.25.42 | TCP 9000 | Như trên | FortiGate (site phụ); UFW VM242 CHƯA mở cho dải này |
step-ca 10.11.25.42 | node1…node4, pbs01, pdm01 | TCP 80 | http-01 | FortiGate (25 → 45); PVE firewall (bài 05) |
step-ca 10.11.25.42 | node5, node6, pbsdr01 | TCP 80 | http-01 | FortiGate (qua kết nối site phụ) |
| mọi node | Pi-hole 10.11.45.53 | UDP/TCP 53 | DNS | Đã có (bài 12) |
ss -ltn không thấy cổng 80.
Mở cổng 9000 cho site phụ trên VM242 (bài 13 chỉ mở 10.11.0.0/16):
# Trên VM242 (step-ca)
ufw allow from 10.100.100.0/24 to any port 9000 proto tcp comment 'ACME tu site phu (bai 09)'
ufw status numbered | grep 9000
Rule PVE firewall cho cổng 80 (cần khi đã bật firewall ở bài 05; nếu chưa bật thì rule vô hại). Rule ở cấp Datacenter áp dụng cho firewall của mọi node trong cluster:
# Trên một node của cluster HOATRANHUB
pvesh create /cluster/firewall/rules --type in --action ACCEPT --proto tcp --dport 80 \
--source 10.11.25.42 --enable 1 --comment "ACME http-01 tu step-ca (bai 09)"
pvesh get /cluster/firewall/rules --output-format json-pretty | grep -B2 -A8 "step-ca"
pve-firewall status
Giao diện: Datacenter → Firewall → Add — Direction in, Action ACCEPT, Source 10.11.25.42, Protocol tcp, Dest. port 80, Comment ACME http-01 tu step-ca (bai 09), tick Enable. Với node5 và node6 (standalone, không cùng cluster) làm tương tự ở node → Firewall → Add trên từng node.
sg-pve-mgmt), thêm rule này vào group đó thay vì rule rời. Rule chiều OUT (node → step-CA:9000) không cần thêm vì chính sách OUT mặc định của PVE firewall là ACCEPT.
1.4 Kiểm tra nhanh trước khi bắt đầu (khi step-CA đã chạy)
# Từ node1: step-CA sống chưa (chưa tin root CA nên dùng -k; sau mục 3 bỏ -k)
curl -sk https://step-ca.hoatranlabs.local:9000/health
# Kỳ vọng: {"status":"ok"}
# Từ VM242: node có phân giải và cổng 80 đường mạng thông chưa (lúc này node KHÔNG lắng nghe cổng 80 nên mong đợi 'refused')
curl -sS -m 5 -o /dev/null http://node1.hoatranlabs.local/ ; echo "exit=$?"
# exit=7 (Connection refused) là TỐT: tới được node, chỉ chưa có ai lắng nghe.
# exit=28 (timeout) hoặc exit=6 (không phân giải được tên) là chưa đạt: xem mục 1.2 và 1.3.
Phương án A — chứng chỉ mặc định (khi chưa có step-CA)
Đây là trạng thái ngay sau khi cài Proxmox (bài 02, 03) và là phương án tạm hợp lệ trong lúc chờ bài 13. Mỗi node dùng /etc/pve/nodes/<node>/pve-ssl.pem do CA của cluster ký; trình duyệt không tin tự động.
# Xem chứng chỉ đang phục vụ cổng 8006 và fingerprint của nó
pvenode cert info
openssl x509 -in /etc/pve/local/pve-ssl.pem -noout -subject -issuer -dates -ext subjectAltName
# Root CA của cluster (không có API/GUI để tải; lấy ra ngoài bằng scp)
scp [email protected]:/etc/pve/pve-root-ca.pem ./hoatran-pve-root-ca.pem
Giảm cảnh báo trong lúc chờ:
- Import
hoatran-pve-root-ca.pemvào kho tin cậy của máy quản trị (cách làm ở mục 3.4), rồi truy cập bằng tên có trong chứng chỉ của node (xemsubjectAltNameở lệnh trên; cần kiểm lại trên máy thật vì SAN phụ thuộc hostname lúc cài). - Các nơi bắt buộc ghim fingerprint khi dùng chứng chỉ mặc định, ghi lại để mục 7 gỡ sau này:
| Nơi ghim | Lấy fingerprint | Bài |
|---|---|---|
Storage pbs-primary trỏ vào PBS | PBS Dashboard → Show Fingerprint | 04 |
| Remote PBS (sync sang pbsdr01) | PBS DR | 04 |
| PDM remote (cluster, node5, node6) | pvenode cert info | grep -i fingerprint trên node | 04 |
PBS_FINGERPRINT trong các VM chạy proxmox-backup-client | PBS Dashboard | 04 |
Công cụ tự động hoá (verify_ssl) | tạm false hoặc truyền file CA | 07, 15 |
verify_ssl=false là trạng thái cuối. Chỉ chấp nhận trong lúc chờ bài 13, và ghi vào checklist để quay lại gỡ. Chạy pvecm updatecerts --force (bài 03, mục 7.7) hoặc thêm/bớt node làm cert của node đổi, nên mọi fingerprint đã ghim phải cập nhật lại — đó là lý do chính để chuyển sang phương án B.
Bảng chọn phương án (chi tiết các phương án C, D, E ở mục 11):
| Phương án | Khi nào dùng | Ưu điểm | Nhược điểm |
|---|---|---|---|
| A. Mặc định (CA của cluster) | Chưa có step-CA; lab thử; 1 node nhỏ | Không phải làm gì | Cảnh báo trình duyệt; phải ghim fingerprint; cert đổi là hỏng pin |
| B. ACME + step-CA, http-01 (khuyến nghị) | Có step-CA, tên node phân giải được, mở được TCP 80 từ step-CA | Hoàn toàn tự động, tự gia hạn | Cần cổng 80 trên node |
C. Cert cấp tay từ step-CA + pvenode cert set | Không mở được cổng 80 (VLAN/site bị chặn) | Không cần cổng 80 | Gia hạn phải tự dựng timer |
| D. ACME + DNS-01 | DNS nội bộ có API tạo TXT (RFC 2136, PowerDNS, Technitium...) | Không cần cổng 80 | Phức tạp; Pi-hole không hỗ trợ |
| E. Let's Encrypt | Có tên miền Internet thật (không phải .local) | Trình duyệt tin sẵn | Cần domain và DNS API; giới hạn tốc độ |
Tin cậy root CA của step-CA trên node
Cách chính: script distribute-root-ca.sh của bài 13 · Cách thay thế: không cài thêm gói (curl + so khớp fingerprint) · Kiểm tra TLS tới step-CA và tới directory ACME
PVE gọi step-CA qua HTTPS nên node phải tin root CA trước khi đăng ký account. Làm trên từng node (và pbs01, pbsdr01, pdm01); với số lượng lớn dùng Ansible ở mục 10.
3.1 Cách chính: script distribute-root-ca.sh của bài 13
Dùng đúng script ở bài 13, Bước 9 (bài 13 đã ghi chú chạy được trên Proxmox VE/Debian): script cài gói step-cli (.deb, bản 0.31.0 dùng chung của lab), tải root CA bằng step ca root kèm fingerprint rồi chạy update-ca-certificates. Fingerprint lấy ở bài 13, Bước 5 (step certificate fingerprint /etc/step-ca/certs/root_ca.crt trên VM242).
# Chạy bằng root trên từng node. Trước đó sửa CA_FINGERPRINT trong script thành fingerprint của bài 13, Bước 5
bash distribute-root-ca.sh
# Kỳ vọng cuối cùng: "Done. Root CA trusted on node1"
ls -l /usr/local/share/ca-certificates/hoatranlabs-root.crt
github.com (hoặc bạn đã chép sẵn file step-cli_0.31.0-1_amd64.deb vào node). Nếu hypervisor không ra được Internet, hoặc bạn không muốn cài thêm gói lên hypervisor, dùng cách thay thế ở mục 3.2.
3.2 Cách thay thế: không cài thêm gói (curl + so khớp fingerprint)
Tải root CA bằng endpoint /roots.pem của step-CA. Vì lúc này chưa tin CA nên bắt buộc so khớp fingerprint với giá trị ghi ở bài 13, Bước 5 để chống giả mạo:
# Chạy trên node1 (root)
ROOT_FP="<ROOT_CA_FINGERPRINT_64_HEX>" # chữ thường, không có dấu ':'
curl -sk https://step-ca.hoatranlabs.local:9000/roots.pem -o /tmp/hoatranlabs-root.crt
GOT=$(openssl x509 -in /tmp/hoatranlabs-root.crt -noout -fingerprint -sha256 | cut -d= -f2 | tr -d ':' | tr 'A-F' 'a-f')
if [ "$GOT" = "$ROOT_FP" ]; then
install -m 0644 /tmp/hoatranlabs-root.crt /usr/local/share/ca-certificates/hoatranlabs-root.crt
update-ca-certificates # Kỳ vọng: 1 added, 0 removed; done.
echo "Fingerprint KHOP, da cai root CA"
else
echo "KHONG KHOP: $GOT"
fi
rm -f /tmp/hoatranlabs-root.crt
curl -k chỉ chấp nhận được ở đây vì fingerprint được đối chiếu ngay sau đó với giá trị ghi lại từ VM242. Nếu "KHONG KHOP", dừng lại và kiểm tra DNS step-ca.hoatranlabs.local.
Cả hai cách đều cho kết quả giống nhau: file /usr/local/share/ca-certificates/hoatranlabs-root.crt (đường dẫn chuẩn của lab: bài 13, 15, 28). Phần mở rộng phải là .crt thì update-ca-certificates mới nhận.
3.3 Kiểm tra TLS tới step-CA và tới directory ACME
curl -fsS https://step-ca.hoatranlabs.local:9000/health # không còn -k; {"status":"ok"}
curl -fsS https://step-ca.hoatranlabs.local:9000/acme/acme/directory | python3 -m json.tool
# Kỳ vọng có newNonce, newAccount, newOrder, revokeCert, keyChange
# Proxmox tự hỏi directory (kiểm tra luôn đường tin cậy của chính ACME client)
pvesh get /cluster/acme/meta --directory https://step-ca.hoatranlabs.local:9000/acme/acme/directory
Lệnh pvesh get /cluster/acme/meta không được báo lỗi TLS hay kết nối. step-CA không công bố điều khoản dịch vụ nên kết quả có thể rỗng (cần kiểm lại trên máy thật). Nếu có dòng externalAccountRequired bằng 1, CA đang bắt buộc EAB — xem mục 4.4.
certificate verify failed dù curl đã chạy được, thử systemctl restart pvedaemon rồi chạy lại. Cộng đồng Proxmox ghi nhận ACME client dùng kho tin cậy của hệ điều hành; cần kiểm lại trên máy thật vì có trường hợp phải dpkg-reconfigure ca-certificates.
3.4 Tin cậy trên máy quản trị và trình duyệt
Chứng chỉ node chỉ hết cảnh báo khi máy người dùng cũng tin root CA. Lấy file /usr/local/share/ca-certificates/hoatranlabs-root.crt từ một node đã làm mục 3 (hoặc step ca root hoatranlabs-root.crt --ca-url ... --fingerprint ... như bài 13):
| Máy | Cách làm |
|---|---|
| Windows trong domain | GPO Trust-HoatranLabs-RootCA (bài 25) đã đẩy root CA; không cần làm thêm |
| Windows ngoài domain (PowerShell quyền Admin) | Import-Certificate -FilePath .\hoatranlabs-root.crt -CertStoreLocation Cert:\LocalMachine\Root |
| Ubuntu/Debian desktop, ops01 | Như mục 3.2 (/usr/local/share/ca-certificates + update-ca-certificates) |
| macOS | sudo security add-trusted-cert -d -r trustRoot -k /Library/Keychains/System.keychain hoatranlabs-root.crt |
| Firefox | Có kho riêng: Settings → Privacy & Security → Certificates → View Certificates → Authorities → Import; hoặc đặt security.enterprise_roots.enabled=true để dùng kho của hệ điều hành (kiểm lại theo phiên bản) |
Chrome và Edge dùng kho của hệ điều hành nên không cần làm riêng.
Đăng ký ACME account
Bằng CLI · Bằng giao diện · Nhiều CA, nhiều account
Một account cho cả cluster. Dữ liệu lưu ở /etc/pve/priv/acme/<tên> nên tự đồng bộ giữa các node; node5 và node6 (standalone) mỗi node tự đăng ký account riêng.
4.1 Bằng CLI
# Trên node1 (một lần cho cả cluster HOATRANHUB)
pvenode acme account register default [email protected] \
--directory https://step-ca.hoatranlabs.local:9000/acme/acme/directory
pvenode acme account list
pvenode acme account info default
Kết quả mong đợi (mẫu):
Registering new ACME account..
Registration successful, account URL: 'https://step-ca.hoatranlabs.local:9000/acme/acme/account/<ACCOUNT_ID>'
Task OK
status: valid trong account info là đạt. Địa chỉ email chỉ được step-CA lưu làm thông tin liên hệ (không có thư tự động gửi đi); dùng một hộp thư nhóm quản trị. step-CA không công bố điều khoản dịch vụ nên không có câu hỏi "Do you agree".
default là tên mặc định mà cấu hình node dùng khi không ghi account=. Nếu sau này thêm account cho Let's Encrypt thử nghiệm, đặt tên khác (ví dụ le-staging) để không lẫn.
4.2 Bằng giao diện
Datacenter → ACME → Accounts → Add, điền:
| Trường | Giá trị |
|---|---|
| Account Name | default |
[email protected] | |
| ACME Directory | Custom |
| Directory URL | https://step-ca.hoatranlabs.local:9000/acme/acme/directory |
Bấm Register. Nếu hộp chọn ACME Directory của bản bạn đang dùng chỉ liệt kê Let's Encrypt thì dùng CLI ở mục 4.1 (tên trường có thể khác chút giữa các bản 9.x; cần kiểm lại trên máy thật).
4.3 Nhiều CA, nhiều account
Đổi directory của một account đã tạo không được hỗ trợ; muốn đổi thì pvenode acme account deactivate <tên> rồi đăng ký lại (docs Proxmox, ví dụ chuyển từ staging sang production). Account lưu private key tại /etc/pve/priv/acme/, thuộc phạm vi sao lưu /etc/pve (bài 05).
4.4 Khi CA yêu cầu EAB (External Account Binding)
step-CA của lab không bật EAB (docs Smallstep mô tả EAB là tính năng của bản thương mại; việc bật trên step-CA mã nguồn mở chưa được xác minh nên bài này không dựa vào EAB). Proxmox có hỗ trợ ở tầng API: tham số eab-kid và eab-hmac-key của POST /cluster/acme/account (man page pvenode không liệt kê cờ này):
# CHỈ khi CA bắt buộc EAB (pvesh get /cluster/acme/meta báo externalAccountRequired = 1)
pvesh create /cluster/acme/account --name default --contact [email protected] \
--directory https://step-ca.hoatranlabs.local:9000/acme/acme/directory \
--eab-kid <KEY_ID> --eab-hmac-key <HMAC_KEY>
Đặt chứng chỉ cho từng node
Chọn challenge · Bằng CLI (node1 làm mẫu) · Bằng giao diện
5.1 Chọn challenge
| Challenge | Plugin PVE | Cần | Dùng khi |
|---|---|---|---|
| http-01 | standalone (có sẵn, không cần tạo) | Cổng 80 của node mở cho step-CA; tên phân giải | Lab này |
| dns-01 | dns (tạo bằng pvenode acme plugin add dns) | DNS có API tạo bản ghi TXT | Không mở được cổng 80 (mục 11.2) |
Plugin standalone hoạt động cả với node trong cluster vì mỗi node tự mở cổng 80 của chính nó. Điều kiện: không có dịch vụ nào khác nghe cổng 80 trên node (Proxmox mặc định không có).
5.2 Bằng CLI (node1 làm mẫu)
pveproxy: phiên GUI/console đang mở rớt vài giây (VM vẫn chạy bình thường). Mở sẵn một phiên SSH root khác; làm lần lượt từng node, không đồng loạt.
# (1) Gắn account và domain cho node ĐANG ĐỨNG (mỗi node một lệnh riêng, đúng tên của nó)
pvenode config set --acme account=default,domains=node1.hoatranlabs.local
pvenode config get --property acme
# (2) Đặt chứng chỉ
pvenode acme cert order
Kết quả mong đợi (mẫu, theo ví dụ trong tài liệu Proxmox):
Loading ACME account details
Placing ACME order
...
Status is 'valid'!
All domains validated!
Creating CSR
Checking order status
Order is ready, finalizing order
valid!
Downloading certificate
Setting pveproxy certificate and key
Restarting pveproxy
Task OK
Bài 13 viết gọn pvenode config set --acme domains=node1.hoatranlabs.local (account lấy mặc định default); hai cách tương đương khi account tên default, bài này ghi rõ account= để không nhầm khi có nhiều account.
Muốn thêm tên phụ cho cùng node (ví dụ tên dịch vụ dùng chung), ngăn cách bằng dấu ; và đặt trong nháy: --acme "account=default,domains=node1.hoatranlabs.local;pve.hoatranlabs.local". Chứng chỉ ACME chỉ chứa tên miền, không chứa IP, nên truy cập https://10.11.45.210:8006 vẫn cảnh báo sai tên; luôn dùng FQDN.
5.3 Bằng giao diện
default đã có (mục 4).default.HTTP (plugin standalone), Domain node1.hoatranlabs.local → Create.
pveproxy-ssl.pem với Issuer là step-CA.
5.4 Kiểm tra
pvenode cert info
# Có pveproxy-ssl.pem; issuer = HoatranLabs Internal CA Intermediate CA (mẫu)
openssl x509 -in /etc/pve/local/pveproxy-ssl.pem -noout -subject -issuer -dates -ext subjectAltName
# subject=CN = node1.hoatranlabs.local ; SAN: DNS:node1.hoatranlabs.local ; notAfter ≈ 90 ngày sau (mẫu)
curl -fsS -o /dev/null -w '%{http_code} ssl_verify=%{ssl_verify_result}\n' https://node1.hoatranlabs.local:8006/
# Kỳ vọng: 200 ssl_verify=0
Trên trình duyệt (đã tin root CA) mở https://node1.hoatranlabs.local:8006: ổ khoá bình thường, xem chứng chỉ thấy Issuer là step-CA của lab.
5.5 Các node còn lại
Cách 1 — SSH vào từng node, làm lại mục 5.2 với đúng tên (node2, node3, node4).
Cách 2 — từ MỘT node của cluster, dùng API để điều khiển các node khác (pvesh chuyển tiếp lệnh tới node đích; cổng 80 vẫn mở trên node đích). Script mẫu, chạy thử với một node trước khi chạy cả vòng:
#!/usr/bin/env bash
# order-acme-cluster.sh — đặt chứng chỉ ACME lần lượt (tuần tự) cho các node của cluster
set -euo pipefail
ACCOUNT=default
SUFFIX=hoatranlabs.local
NODES=(node1 node2 node3 node4)
wait_task() { # $1=node $2=UPID
local st
for _ in $(seq 1 60); do
st=$(pvesh get "/nodes/$1/tasks/$2/status" --output-format json \
| python3 -c 'import sys,json; d=json.load(sys.stdin); print(d["status"], d.get("exitstatus",""))')
case "$st" in
"stopped OK") return 0 ;;
stopped*) echo " task loi: $st"; return 1 ;;
esac
sleep 5
done
echo " het thoi gian cho task"; return 1
}
for n in "${NODES[@]}"; do
echo "== $n =="
pvesh set "/nodes/$n/config" --acme "account=${ACCOUNT},domains=${n}.${SUFFIX}"
upid=$(pvesh create "/nodes/$n/certificates/acme/certificate" --force 1 | tr -d '"')
wait_task "$n" "$upid"
echo " OK"
done
Với node5 và node6 (standalone) làm riêng trên từng node: đăng ký account (mục 4.1), rồi mục 5.2. Quyền API tối thiểu cho tài khoản tự động hoá: Sys.Modify trên /nodes/<node> cho đặt/gia hạn chứng chỉ (API viewer), riêng đăng ký account nên làm một lần bằng root@pam.
Gia hạn tự động và thời hạn chứng chỉ
Cơ chế gia hạn · Thời hạn chứng chỉ và maxTLSCertDuration · Thử gia hạn
6.1 Cơ chế gia hạn
Theo tài liệu Proxmox và mã nguồn pveupdate (pve-manager):
| Thành phần | Hoạt động |
|---|---|
pve-daily-update.timer | OnCalendar=*-*-* 1:00, RandomizedDelaySec=5h, Persistent=true — chạy mỗi ngày một lần trong khoảng 01:00–06:00 |
pve-daily-update.service | Chạy pveupdate: với node có acme + domains và đã có pveproxy-ssl.pem, nếu chứng chỉ hết hạn hoặc còn dưới 30 ngày thì tự renew |
| Chưa đặt chứng chỉ lần đầu | Bỏ qua, ghi nhật ký "no custom certificate exists" |
| Lỗi khi gia hạn | Ghi syslog mức lỗi "Renewing ACME certificate failed" |
Mỗi lần gia hạn là một order mới, kiểm tra lại http-01 từ đầu: cổng 80, DNS và step-CA phải còn hoạt động ở thời điểm đó.
6.2 Thời hạn chứng chỉ và maxTLSCertDuration
ACME client của Proxmox không có tuỳ chọn thời hạn (pvenode acme cert order chỉ nhận --force), nên thời hạn thực tế do step-CA quyết định bằng defaultTLSCertDuration của provisioner (kế thừa từ authority.claims nếu provisioner không khai báo riêng). Các claim ở bài 13, Bước 6:
| Claim (step-CA) | Giá trị bài 13 | Ý nghĩa với Proxmox |
|---|---|---|
defaultTLSCertDuration | 2160h (90 ngày) | Thời hạn cấp khi client không yêu cầu — chính là thời hạn của chứng chỉ node |
maxTLSCertDuration | 2160h | Trần: không cấp chứng chỉ dài hơn. Chỉ có tác dụng với client có yêu cầu thời hạn (như step ca certificate --not-after với provisioner JWK) |
minTLSCertDuration | 5m | Sàn thời hạn |
Thời hạn nên chọn so với cửa sổ gia hạn 30 ngày của Proxmox:
| Thời hạn cấp | Hành vi gia hạn | Đánh giá |
|---|---|---|
| 24 giờ (mặc định step-CA nếu không khai báo claims) | Luôn nằm trong cửa sổ 30 ngày → thử gia hạn mỗi ngày; node tắt hơn 1 ngày là hết hạn | Không khuyến nghị cho Proxmox; nếu buộc dùng, đặt RandomizedDelaySec=0 cho timer (mục 6.3) |
| 720h (30 ngày) | Cũng thử gia hạn mỗi ngày | Không khuyến nghị |
| 1440h (60 ngày) | Gia hạn từ ngày ~30; đệm 30 ngày | Dùng được |
| 2160h (90 ngày, lab) | Gia hạn từ ngày ~60; đệm 30 ngày để xử lý sự cố step-CA | Khuyến nghị |
| Hơn 2160h | Bị trần bài 13 chặn | Không |
Bài 13 có nêu cú pháp đặt thời hạn riêng cho provisioner acme với ví dụ 720h chỉ để minh hoạ: với Proxmox đừng đặt ≤ 720h vì chứng chỉ sẽ luôn nằm trong cửa sổ 30 ngày và bị gia hạn mỗi ngày. Muốn đặt riêng cho Proxmox mà không động tới các dịch vụ khác, sửa claim ngay trên provisioner (trên VM242, step-ca chạy trong container ở bài 13 nên dùng docker exec; CA không bật remote management nên phải có --ca-config; sau đó docker kill -s HUP step-ca để nạp lại cấu hình, hoặc restart container):
docker exec step-ca step ca provisioner update acme --x509-min-dur=5m --x509-max-dur=2160h --x509-default-dur=2160h --ca-config /home/step/config/ca.json
docker kill -s HUP step-ca
6.3 Thử gia hạn
# Ép gia hạn ngay (kể cả khi còn xa hạn)
pvenode acme cert renew --force 1
# Mô phỏng job hằng ngày (job này đồng thời chạy apt update, vô hại) rồi đọc nhật ký
systemctl start pve-daily-update.service
journalctl -u pve-daily-update.service --since "10 min ago" --no-pager | grep -i -E "acme|certificate"
# Chưa gần hạn sẽ thấy: Custom certificate does not expire soon, skipping ACME renewal.
systemctl list-timers pve-daily-update.timer
Chỉ khi dùng chứng chỉ ngắn hạn mới cần bỏ độ trễ ngẫu nhiên (tài liệu Proxmox khuyến nghị để khỏi lỡ gia hạn sau reboot). Lab dùng 90 ngày nên không cần:
# CHỈ cho chứng chỉ ngắn hạn
systemctl edit pve-daily-update.timer
# [Timer]
# RandomizedDelaySec=0
6.4 Giám sát hạn chứng chỉ
Gia hạn tự động vẫn có thể thất bại âm thầm (cổng 80 bị chặn, step-CA tắt). Cho chạy script kiểm tra từ ops01 hằng ngày lúc 05:15 và báo qua kênh cảnh báo của lab (bài 10):
#!/usr/bin/env bash
# /usr/local/bin/check-pve-certs.sh — hạn + độ tin cậy chứng chỉ của node, PBS, PDM
set -uo pipefail
WARN_DAYS=${WARN_DAYS:-20}
rc=0
TARGETS=(node1:8006 node2:8006 node3:8006 node4:8006 node5:8006 node6:8006 pbs01:8007 pbsdr01:8007 pdm01:8443)
for t in "${TARGETS[@]}"; do
host="${t%%:*}.hoatranlabs.local"; port="${t##*:}"
vr=$(echo | openssl s_client -connect "${host}:${port}" -servername "${host}" -verify_hostname "${host}" 2>/dev/null | grep -m1 'Verify return code')
end=$(echo | openssl s_client -connect "${host}:${port}" -servername "${host}" 2>/dev/null | openssl x509 -noout -enddate 2>/dev/null | cut -d= -f2)
if [ -z "$end" ]; then printf '%-40s %s\n' "${host}:${port}" "KHONG KET NOI DUOC"; rc=2; continue; fi
left=$(( ( $(date -d "$end" +%s) - $(date +%s) ) / 86400 ))
printf '%-40s con %3s ngay | %s\n' "${host}:${port}" "$left" "$vr"
case "$vr" in *"(ok)"*) ;; *) rc=2 ;; esac
[ "$left" -lt "$WARN_DAYS" ] && rc=2
done
exit $rc
chmod 755 /usr/local/bin/check-pve-certs.sh
/usr/local/bin/check-pve-certs.sh # chạy tay lần đầu
# Mỗi dòng: còn N ngày | Verify return code: 0 (ok) (mẫu)
# Lịch chạy 05:15 hằng ngày bằng systemd timer
cat > /etc/systemd/system/check-pve-certs.service <<'EOF'
[Unit]
Description=Kiem tra han chung chi Proxmox
[Service]
Type=oneshot
ExecStart=/usr/local/bin/check-pve-certs.sh
EOF
cat > /etc/systemd/system/check-pve-certs.timer <<'EOF'
[Unit]
Description=Kiem tra han chung chi Proxmox hang ngay
[Timer]
OnCalendar=*-*-* 05:15:00
Persistent=true
[Install]
WantedBy=timers.target
EOF
systemctl daemon-reload && systemctl enable --now check-pve-certs.timer
Mã thoát khác 0 làm service ở trạng thái failed, đủ để Alertmanager hoặc Uptime Kuma của bài 15 bắt được. Nếu bài 15 đã dựng blackbox_exporter, có thể dùng thêm chỉ số probe_ssl_earliest_cert_expiry (tuỳ chọn, cần kiểm lại theo cấu hình bài 15).
Hệ quả sau khi đổi chứng chỉ: bỏ ghim fingerprint
Storage pbs-primary trên PVE (bài 04) · proxmox-backup-client trong các VM · Remote PBS (đồng bộ sang pbsdr01)
7.1 Storage pbs-primary trên PVE (bài 04)
Làm SAU khi PBS đã có chứng chỉ step-CA (mục 8). Cấu hình storage là của cả cluster (/etc/pve/storage.cfg) nên chạy một lần trên cluster HOATRANHUB; node5 và node6 mỗi máy tự chạy:
pvesm status | grep pbs-primary # trước khi đổi: active
pvesm set pbs-primary --server pbs01.hoatranlabs.local --delete fingerprint
pvesm status | grep pbs-primary # sau khi đổi: vẫn active
Bài 04 khai storage bằng IP 10.11.45.17 kèm fingerprint; chứng chỉ ACME chỉ có tên nên phải đổi --server sang FQDN. Mọi node trong cluster đã tin root CA ở mục 3.
7.2 proxmox-backup-client trong các VM
Quy ước ở bài 04 (mục 5.7) đã dùng repository bằng FQDN pbs01.hoatranlabs.local. Khi VM tin root CA (script phân phối ở bài 13, Bước 9), bỏ dòng export PBS_FINGERPRINT=... khỏi script backup của từng VM; client sẽ xác thực bằng CA.
7.3 Remote PBS (đồng bộ sang pbsdr01)
# Trên pbs01 — sau khi pbsdr01 có cert step-CA (mục 8) và pbs01 tin root CA
proxmox-backup-manager remote update pbs-dr --host pbsdr01.hoatranlabs.local --delete fingerprint
proxmox-backup-manager remote list
Chạy thử một Sync Job sau khi đổi để chắc kết nối chưa vỡ (tên remote pbs-dr theo bài 04).
7.4 PDM remote (bài 04)
Theo tài liệu PDM: PDM kiểm tra chứng chỉ của remote với kho tin cậy hệ thống; remote nào không thuộc kho thì PDM mới dùng fingerprint đã ghim. Do đó:
# Trên pdm01: tin root CA (mục 3.1–3.2), rồi xoá pin cho từng remote/node
proxmox-datacenter-manager-client remote probe-certificate <remote> <node>
proxmox-datacenter-manager-client remote set-fingerprint <remote> <node> # bỏ trống fingerprint = xoá pin
Trên giao diện: mở remote, dùng Check Certificate; nếu chứng chỉ đã được kho hệ thống chấp nhận thì xoá fingerprint đã lưu. Endpoint của remote nên là FQDN (node1.hoatranlabs.local...) để khớp tên trong chứng chỉ (cách đổi endpoint trên GUI PDM 1.1 cần kiểm lại trên máy thật).
7.5 Công cụ tự động hoá và giám sát
| Công cụ | Cấu hình sau khi có chứng chỉ step-CA |
|---|---|
Ansible, proxmoxer, OpenTofu bpg/proxmox (bài 07) | Gọi API bằng FQDN; bật kiểm tra TLS (validate_certs / verify_ssl = true hoặc truyền file CA; insecure = false). ops01 phải tin root CA |
prometheus-pve-exporter (bài 15) | PVE_VERIFY_SSL=true, target dùng FQDN, root CA mount vào container như bài 15 |
| Đăng nhập OIDC, thông báo HTTPS/SMTP (bài 08, 10) | Node gọi Authentik, Gotify, Mailu bằng HTTPS với chứng chỉ step-CA; yêu cầu node tin root CA (mục 3), không cần làm thêm |
7.6 Thêm node mới hoặc thay node (cluster)
Khi một node gia nhập cluster, toàn bộ /etc/pve của node đó bị ghi đè bằng của cluster (tài liệu pvecm), nên cấu hình ACME và chứng chỉ cũ của node mới mất. Thứ tự đúng:
- Cài node, tin root CA (mục 3), thêm bản ghi DNS (Pi-hole).
- Join cluster (bài 03).
pvenode config set --acme account=default,domains=<node>.hoatranlabs.localrồipvenode acme cert order.
Khi thay node hỏng giữ nguyên tên (bài 11), làm lại bước 3. Nếu pvecm add báo lỗi fingerprint tới node đã có chứng chỉ ACME, xem bảng Troubleshooting.
PBS (pbs01, pbsdr01) dùng ACME
PBS có ACME client riêng. Theo tài liệu PBS: gia hạn do proxmox-backup-daily-update.service, ngưỡng 30 ngày; chứng chỉ ở /etc/proxmox-backup/proxy.pem. GUI của PBS (Certificates → ACME Accounts) chỉ liệt kê Let's Encrypt nên với step-CA dùng CLI (cần kiểm lại trên máy thật nếu bản PBS bạn dùng đã có ô Custom).
# Chạy trên pbs01 (VM101). pbsdr01 làm y hệt với tên pbsdr01.
# (1) Tin root CA: làm đúng mục 3.1–3.2 trên pbs01
# (2) Đăng ký account
proxmox-backup-manager acme account register default [email protected] \
--directory https://step-ca.hoatranlabs.local:9000/acme/acme/directory
proxmox-backup-manager acme account list
# (3) Gắn domain (không ghi plugin = http-01 standalone, cổng 80)
proxmox-backup-manager node update --acme account=default \
--acmedomain0 domain=pbs01.hoatranlabs.local
# (4) Đặt chứng chỉ (dịch vụ proxy tải lại)
proxmox-backup-manager acme cert order
proxmox-backup-manager cert info
Kiểm tra: curl -fsS -o /dev/null -w '%{http_code}\n' https://pbs01.hoatranlabs.local:8007/ trả 200 (không -k); trên giao diện, Configuration → Certificates hiện chứng chỉ mới do step-CA cấp. Điều kiện: không có dịch vụ nào nghe cổng 80 trên VM PBS; step-CA tới được 10.11.45.17:80 (và 10.100.100.6:80 cho pbsdr01). Sau khi pbs01 và pbsdr01 đã có chứng chỉ, làm mục 7.1 và 7.3.
missing field meta với directory của step-CA (đã sửa từ PBS 2.0.14) và lỗi client error (Connect) khi chưa tin root CA. Với PBS 4.2 hiện nay chỉ cần root CA đã được cài như mục 3.
PDM (pdm01)
Theo tài liệu PDM 1.1: PDM có ACME (Certificates → ACME Accounts) và gia hạn bằng proxmox-datacenter-manager-daily-update.service (ngưỡng 30 ngày), nhưng GUI chỉ có Let's Encrypt production và staging. Nhân viên Proxmox trả lời trên diễn đàn (12/2025) rằng directory tuỳ chọn "chưa được đưa ra giao diện", và có người đăng ký account qua API (POST /config/acme/account) cùng lúc gặp lỗi tác vụ treo giữ cổng 80. Vì vậy với lab, dùng chứng chỉ cấp từ step-CA rồi cài tay vào PDM, theo đúng mục "Manually Change Certificate" của tài liệu PDM:
# Trên pdm01 (VM102): tin root CA (mục 3; `distribute-root-ca.sh` đã cài step-cli), rồi xin chứng chỉ
mkdir -p /etc/ssl/pdm01 && chmod 700 /etc/ssl/pdm01
step ca certificate pdm01.hoatranlabs.local /etc/ssl/pdm01/pdm01.crt /etc/ssl/pdm01/pdm01.key \
--ca-url https://step-ca.hoatranlabs.local:9000 \
--root /usr/local/share/ca-certificates/hoatranlabs-root.crt \
--provisioner acme --san pdm01.hoatranlabs.local
# Ghi đè nội dung (giữ nguyên chủ sở hữu/quyền của file hiện có) rồi restart API
cat /etc/ssl/pdm01/pdm01.crt > /etc/proxmox-datacenter-manager/auth/api.pem
cat /etc/ssl/pdm01/pdm01.key > /etc/proxmox-datacenter-manager/auth/api.key
systemctl restart proxmox-datacenter-api.service
curl -fsS -o /dev/null -w '%{http_code}\n' https://pdm01.hoatranlabs.local:8443/
Gia hạn: chứng chỉ do step ca certificate cấp có thể gia hạn bằng step ca renew (không cần mật khẩu), giống cách bài 13 làm cho Authentik. Timer chạy 05:05 hằng ngày:
cat > /usr/local/bin/renew-pdm-cert.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
CRT=/etc/ssl/pdm01/pdm01.crt
KEY=/etc/ssl/pdm01/pdm01.key
ROOT=/usr/local/share/ca-certificates/hoatranlabs-root.crt
if step certificate needs-renewal "$CRT"; then
step ca renew --force "$CRT" "$KEY" --ca-url https://step-ca.hoatranlabs.local:9000 --root "$ROOT"
cat "$CRT" > /etc/proxmox-datacenter-manager/auth/api.pem
cat "$KEY" > /etc/proxmox-datacenter-manager/auth/api.key
systemctl restart proxmox-datacenter-api.service
fi
EOF
chmod 755 /usr/local/bin/renew-pdm-cert.sh
cat > /etc/systemd/system/renew-pdm-cert.service <<'EOF'
[Unit]
Description=Gia han chung chi PDM tu step-CA
After=network-online.target
[Service]
Type=oneshot
ExecStart=/usr/local/bin/renew-pdm-cert.sh
EOF
cat > /etc/systemd/system/renew-pdm-cert.timer <<'EOF'
[Unit]
Description=Gia han chung chi PDM hang ngay
[Timer]
OnCalendar=*-*-* 05:05:00
RandomizedDelaySec=300
Persistent=true
[Install]
WantedBy=timers.target
EOF
systemctl daemon-reload && systemctl enable --now renew-pdm-cert.timer
api.key trên PDM 1.1 và việc step ca renew giữ nguyên chuỗi chứng chỉ khi ghi đè (cat >). Làm lần đầu vào giờ không có ai dùng PDM và giữ bản sao api.pem/api.key cũ để khôi phục (cp -a ra /root/).
Tự động hoá nhiều node bằng Ansible
Inventory và file cần có · Playbook pve-acme.yml · Chạy và quy mô lớn
Chạy từ ops01 (bài 07) hoặc máy quản trị bất kỳ có SSH key vào các node. Playbook chỉ dùng module ansible.builtin, nên chạy được cả khi chưa cài collection nào.
10.1 Inventory và file cần có
# inventory/pve.ini
[pve_cluster]
node1 ansible_host=10.11.45.210
node2 ansible_host=10.11.45.211
node3 ansible_host=10.11.45.212
node4 ansible_host=10.11.45.213
[pve_standalone]
node5 ansible_host=10.100.100.20
node6 ansible_host=10.100.100.21
[pve_all:children]
pve_cluster
pve_standalone
[pve_all:vars]
ansible_user=root
ansible_python_interpreter=/usr/bin/python3
ansible_host dùng IP để SSH không phụ thuộc DNS. Cần root vì pvenode thao tác /etc/pve (nếu bài 05 chỉ cho phép đăng nhập root bằng khoá thì đã đủ). File files/hoatranlabs-root.crt là root CA đã kiểm fingerprint (lấy từ node đã làm mục 3, hoặc step ca root trên ops01); fingerprint 64 hex truyền bằng -e root_ca_sha256=....
10.2 Playbook pve-acme.yml
---
# Bài 09 — ACME step-CA cho mọi node Proxmox (idempotent: chạy lại không đổi gì nếu đã xong)
# Dùng: ansible-playbook -i inventory/pve.ini pve-acme.yml -e root_ca_sha256=<64 hex> [--limit node1]
- name: 1. Tin cậy root CA step-CA trên mọi node
hosts: pve_all
gather_facts: false
any_errors_fatal: true
vars:
acme_directory: https://step-ca.hoatranlabs.local:9000/acme/acme/directory
root_ca_dest: /usr/local/share/ca-certificates/hoatranlabs-root.crt
tasks:
- name: Fingerprint file root CA ở máy điều khiển
ansible.builtin.shell: >-
openssl x509 -in "{{ playbook_dir }}/files/hoatranlabs-root.crt" -noout -fingerprint -sha256
| cut -d= -f2 | tr -d ':' | tr 'A-F' 'a-f'
args: { executable: /bin/bash }
register: local_fp
changed_when: false
delegate_to: localhost
run_once: true
- name: Dừng nếu fingerprint không khớp bài 13
ansible.builtin.assert:
that: local_fp.stdout == root_ca_sha256
fail_msg: "Fingerprint root CA không khớp giá trị ghi ở bài 13, bước 5 — DỪNG"
run_once: true
- name: Cài root CA lên node
ansible.builtin.copy:
src: files/hoatranlabs-root.crt
dest: "{{ root_ca_dest }}"
owner: root
group: root
mode: "0644"
register: root_ca
- name: update-ca-certificates
ansible.builtin.command: update-ca-certificates
when: root_ca.changed
- name: Directory ACME đọc được qua HTTPS có xác thực
ansible.builtin.command: curl -fsS --max-time 10 {{ acme_directory }}
register: acme_dir
changed_when: false
failed_when: "'newOrder' not in acme_dir.stdout"
- name: 2. Đăng ký ACME account (cluster: node đầu tiên; standalone: từng node)
hosts: pve_cluster[0]:pve_standalone
gather_facts: false
vars:
acme_account: default
acme_contact: [email protected]
acme_directory: https://step-ca.hoatranlabs.local:9000/acme/acme/directory
tasks:
- name: Account đã tồn tại chưa
ansible.builtin.stat:
path: "/etc/pve/priv/acme/{{ acme_account }}"
register: acc
- name: Đăng ký account
ansible.builtin.command: >-
pvenode acme account register {{ acme_account }} {{ acme_contact }}
--directory {{ acme_directory }}
when: not acc.stat.exists
- name: 3. Domain ACME và đặt chứng chỉ cho từng node
hosts: pve_all
gather_facts: false
any_errors_fatal: true
serial: [1, 5] # canary 1 node, sau đó 5 node mỗi lô; cluster lớn đổi thành [1, 5, 10]
vars:
acme_account: default
fqdn: "{{ inventory_hostname }}.hoatranlabs.local"
issuer_match: "HoatranLabs Internal CA"
tasks:
- name: Gắn account và domain cho node
ansible.builtin.shell: |
pvenode config get --property acme | grep -q "domains={{ fqdn }}" && exit 0
pvenode config set --acme "account={{ acme_account }},domains={{ fqdn }}"
echo CHANGED
args: { executable: /bin/bash }
register: cfg
changed_when: "'CHANGED' in cfg.stdout"
- name: Chứng chỉ 8006 hiện do step-CA cấp chưa
ansible.builtin.shell: |
f=/etc/pve/local/pveproxy-ssl.pem
if [ -s "$f" ] && openssl x509 -in "$f" -noout -issuer | grep -q "{{ issuer_match }}"; then echo OK; else echo NEED; fi
args: { executable: /bin/bash }
register: have
changed_when: false
- name: Đặt chứng chỉ (pvenode acme cert order)
ansible.builtin.command: pvenode acme cert order --force 1
when: "'NEED' in have.stdout"
- name: Xác minh cổng 8006 bằng FQDN (có kiểm tra TLS)
ansible.builtin.command: curl -fsS -o /dev/null --max-time 10 https://{{ fqdn }}:8006/
register: probe
retries: 6
delay: 5
until: probe.rc == 0
changed_when: false
10.3 Chạy và quy mô lớn
cd ~/ansible-pve
ansible -i inventory/pve.ini pve_all -m ping # SSH thông
ansible-playbook -i inventory/pve.ini pve-acme.yml -e root_ca_sha256=<64_hex> --limit node1 # canary
ansible-playbook -i inventory/pve.ini pve-acme.yml -e root_ca_sha256=<64_hex> # toàn bộ
# PLAY RECAP: failed=0 trên cả 6 node (mẫu)
- Chạy lại nhiều lần không sao: lần sau chỉ báo
ok, khôngchanged. - Hàng trăm node: lấy inventory động từ NetBox (bài 23) hoặc sinh file inventory từ danh sách node; tăng
forks, đểserialđóng vai "bộ phanh" — một lô lỗi là dừng (any_errors_fatal) trước khi lan ra các lô sau. - Mỗi lần đặt chứng chỉ restart
pveproxycủa chính node đó: chọn khung giờ ít người dùng GUI; VM không bị ảnh hưởng. - Việc này không thay bước gia hạn: gia hạn do
pve-daily-updatetrên từng node tự làm. Playbook chỉ cần chạy lại khi thêm node mới (mục 7.6).
Phương án thay thế
Phương án C — cấp tay từ step-CA khi không mở được cổng 80 · Phương án D — ACME DNS-01 · Phương án E — Let's Encrypt (khi có tên miền thật)
11.1 Phương án C — cấp tay từ step-CA khi không mở được cổng 80
Dùng khi VLAN/site không cho step-CA gọi vào cổng 80 của node. Chứng chỉ cấp bằng provisioner JWK ([email protected], bài 13) từ ops01, rồi nạp vào node:
# Trên ops01 (đã cài step CLI và tin root CA, bài 13)
step ca certificate node5.hoatranlabs.local node5.crt node5.key \
--ca-url https://step-ca.hoatranlabs.local:9000 \
--root /usr/local/share/ca-certificates/hoatranlabs-root.crt \
--provisioner [email protected] --san node5.hoatranlabs.local --not-after 2160h
scp node5.crt node5.key [email protected]:/root/
# Trên node5 (file .crt gồm chuỗi leaf + intermediate)
pvenode cert set /root/node5.crt /root/node5.key --force 1 --restart 1
shred -u /root/node5.key && rm -f /root/node5.crt
Cách này không nằm trong vòng gia hạn của pve-daily-update (chỉ gia hạn chứng chỉ ACME). Phải tự dựng timer chạy step ca renew và pvenode cert set (tương tự mục 9), hoặc lặp lại lệnh trên trước khi hết hạn.
11.2 Phương án D — ACME DNS-01
DNS-01 không cần cổng 80 vì step-CA chỉ cần tra bản ghi TXT. Proxmox tái dùng plugin DNS của acme.sh (danh sách trong pvenode acme plugin add --api, gồm nsupdate, pdns, technitium, knot, nsd...). Điều kiện trong lab:
- Pi-hole (bài 12) không có API tạo TXT, không dùng được. Cần DNS có API/RFC 2136 cho vùng
hoatranlabs.local. - step-CA phải tra được
_acme-challenge.nodeN.hoatranlabs.localtừ resolver của nó, tức là bản ghi TXT phải xuất hiện ở máy chủ DNS mà step-CA hỏi. - Với Samba AD DC (dc1, bài 25) dùng
nsupdatecần cơ chế xác thực cập nhật động (TSIG/GSS-TSIG) — chưa kiểm chứng, cần kiểm lại trên máy thật.
Khung cấu hình (ví dụ plugin nsupdate, tên biến theo acme.sh: NSUPDATE_SERVER, NSUPDATE_KEY, NSUPDATE_ZONE):
cat > /root/nsupdate.env <<'EOF'
NSUPDATE_SERVER=<IP_DNS_SERVER>
NSUPDATE_KEY=/root/<TSIG_KEY_FILE>
NSUPDATE_ZONE=hoatranlabs.local
EOF
chmod 600 /root/nsupdate.env
apt install -y bind9-dnsutils # nsupdate
pvenode acme plugin add dns lab-nsupdate --api nsupdate --data /root/nsupdate.env --validation-delay 30
pvenode config set --acmedomain0 domain=node1.hoatranlabs.local,plugin=lab-nsupdate
pvenode acme cert order
--validation-delay là số giây chờ trước khi step-CA kiểm tra, đủ để bản ghi lan truyền. Wildcard chỉ có với DNS-01 nhưng lab không cần.
11.3 Phương án E — Let's Encrypt (khi có tên miền thật)
Let's Encrypt không cấp cho .local. Chỉ áp dụng khi node có tên miền công khai (ví dụ pve1.example.com) và đáp ứng được http-01 từ Internet hoặc có DNS API cho dns-01. Luôn thử staging trước:
pvenode acme account register le-staging [email protected] \
--directory https://acme-staging-v02.api.letsencrypt.org/directory
pvenode config set --acme account=le-staging,domains=pve1.example.com
pvenode acme cert order
Giới hạn tốc độ của Let's Encrypt production (trang rate-limits chính thức): 300 order mới / 3 giờ / account; 50 chứng chỉ / 7 ngày / tên miền đăng ký; 5 chứng chỉ giống hệt bộ tên / 7 ngày; 5 lần xác thực lỗi / giờ / tên / account. Let's Encrypt đang rút ngắn thời hạn: profile classic chuyển sang 64 ngày từ 10/02/2027 và 45 ngày từ 16/02/2028; cửa sổ gia hạn 30 ngày của Proxmox vẫn đủ cho các mốc này.
Bảo mật và vận hành
Giảm rủi ro cấp chứng chỉ sai · Bảo vệ khoá · Sao lưu trước khi thay đổi
12.1 Giảm rủi ro cấp chứng chỉ sai
smallstep/step-ca:0.30.2 trong Docker); kiểm tra bằng docker exec step-ca step-ca version trên VM242 trước khi làm mục 4.
Tài liệu Smallstep nêu rõ: mặc định bất kỳ ACME client nào tới được CA và trả lời được challenge đều đăng ký được vào PKI của bạn. Ba lớp phòng thủ cho lab:
- Mạng: chỉ cho các VLAN lab và site phụ tới cổng 9000 của VM242 (UFW + FortiGate, mục 1.3; cổng 9000 do Docker publish nên luật UFW không có tác dụng, FortiGate mới là lớp lọc thật, xem bài 13 Bước 12).
- Policy tên: step-CA tự lưu trữ hỗ trợ policy ở cấp authority trong
ca.json— chỉ cho phép tên và IP thuộc lab. Mẫu (đặt trong khốiauthoritycủa/etc/step-ca/config/ca.jsontrên VM242, rồidocker kill -s HUP step-cahoặc restart container):
"policy": {
"x509": {
"allow": {
"dns": ["*.hoatranlabs.local"],
"ip": ["10.11.0.0/16", "10.100.100.0/24"]
}
}
}
Ký tự * chỉ khớp đúng một nhãn đầu (node1.hoatranlabs.local được, a.b.hoatranlabs.local bị từ chối) và khi đã có luật allow thì mọi loại tên khác bị từ chối. Policy áp dụng cho mọi chứng chỉ của CA (Authentik, Harbor, Gitea, K3s...) nên phải thử trên bản sao hoặc cấp thử toàn bộ các tên đang dùng trước khi bật trên VM242 (bài 13).
- EAB: chưa dùng (mục 4.4).
12.2 Bảo vệ khoá
- Khoá riêng
pveproxy-ssl.keynằm trong/etc/pve/nodes/<node>/(chỉ root và nhóm hệ thống đọc được); khoá account ở/etc/pve/priv/acme/. Cả hai nằm trong phạm vi sao lưu/etc/pve(bài 05) — kho sao lưu cần bảo vệ như bí mật. - Khoá root CA của step-CA ở VM242 và bản sao lưu offline là phần quan trọng nhất (bài 13, Bước 13); mất khoá root là phải phát hành lại niềm tin cho toàn lab.
12.3 Sao lưu trước khi thay đổi
# Chụp trạng thái trước khi đặt chứng chỉ
mkdir -p /root/acme-before && cp -a /etc/pve/nodes/$(hostname -s) /root/acme-before/
pvenode cert info > /root/acme-before/cert-info.txt
12.4 Quay về chứng chỉ mặc định (rollback)
pvenode cert delete # xoá pveproxy-ssl.pem/.key (chứng chỉ ACME hoặc tuỳ chỉnh)
pvenode config set --delete acme # bỏ cấu hình ACME để không còn đặt/gia hạn
systemctl restart pveproxy
pvenode cert info # chỉ còn pve-root-ca.pem, pve-ssl.pem
Sau rollback các nơi đã bỏ ghim (mục 7) phải ghim fingerprint trở lại như mục 2. Nếu chỉ muốn tạm dừng gia hạn tự động mà giữ chứng chỉ, chỉ xoá cấu hình acme (pvenode config set --delete acme).
Troubleshooting
| Triệu chứng | Nguyên nhân | Cách xử lý |
|---|---|---|
certificate verify failed hoặc client error (Connect) khi acme account register/order | Node chưa tin root CA; file không có đuôi .crt; gọi bằng tên/IP không có trong chứng chỉ step-CA (bài 13 cấp cho step-ca.hoatranlabs.local và 10.11.25.42) | ls /etc/ssl/certs/ | grep hoatran; chạy lại mục 3; dùng đúng FQDN; curl -v https://step-ca.hoatranlabs.local:9000/health; thử systemctl restart pvedaemon |
Can't use an undefined value as a HASH reference at .../PVE/API2/ACME.pm khi order | Node chưa có domain ACME (thông báo lỗi gây hiểu nhầm; nhân viên Proxmox xác nhận trên diễn đàn) | pvenode config set --acme account=default,domains=<node>.hoatranlabs.local; kiểm tra pvenode config get --property acme |
| Task treo ở "The validation for ... is pending" rồi lỗi | step-CA không tới được cổng 80 của node: DNS sai, firewall chặn, hoặc có dịch vụ khác giữ cổng 80 | Chạy lại mục 1.2–1.4; ss -ltnp | grep ':80 ' trên node; xem log CA: docker logs --tail 50 step-ca trên VM242 |
step-CA báo urn:ietf:params:acme:error:connection hoặc dns | Không phân giải hoặc không kết nối được tên node từ VM242 | getent hosts nodeN.hoatranlabs.local trên VM242; thêm bản ghi vào Pi-hole; mở FortiGate 25 → 45 TCP 80 |
Lỗi rejectedIdentifier, "not authorized", policy từ chối tên | Policy tên của step-CA (mục 12.1) không cho tên này; hoặc đặt domains= bằng IP | Dùng FQDN đúng *.hoatranlabs.local; điều chỉnh policy |
address already in use (cổng 80) khi order | Tiến trình khác nghe cổng 80 (nginx, haproxy...), hoặc task ACME trước còn treo | ss -ltnp | grep ':80 '; dừng dịch vụ; pvenode task list --errors và đợi task kết thúc |
accountDoesNotExist / account không còn ở CA | CA được khôi phục từ bản sao lưu cũ hoặc đã tạo lại DB | pvenode acme account deactivate default; nếu CA không nhận, mv /etc/pve/priv/acme/default /root/acme-default.bak rồi đăng ký lại (mục 4.1); sau đó order lại |
| Trình duyệt báo "NET::ERR_CERT_DATE_INVALID" hoặc "not yet valid" | Giờ của máy khách/node/CA lệch | Mục 1.1: chronyc tracking, chronyc makestep |
| Đã có chứng chỉ step-CA nhưng vẫn cảnh báo | Truy cập bằng IP (chứng chỉ chỉ chứa tên); máy khách chưa tin root CA; bộ nhớ đệm | Dùng https://nodeN.hoatranlabs.local:8006; làm mục 3.4; Ctrl+F5 |
| Không tự gia hạn | acme/domains thiếu; chưa có pveproxy-ssl.pem; timer tắt; step-CA không tới được | systemctl list-timers pve-daily-update.timer; journalctl -u pve-daily-update.service; thử pvenode acme cert renew --force 1 |
| Chứng chỉ hết hạn dù đã cấu hình ACME | Chứng chỉ quá ngắn (24h) hoặc node tắt lâu | pvenode acme cert order --force 1; đặt defaultTLSCertDuration 2160h (mục 6.2) |
pbs-primary chuyển inactive; lỗi fingerprint/certificate verify failed sau khi PBS đổi chứng chỉ | Còn ghim fingerprint cũ hoặc gọi bằng IP | Mục 7.1 (--server FQDN, --delete fingerprint) |
PDM báo Could not establish a TLS connection ... certificate verify failed | Pin fingerprint cũ hoặc pdm01 chưa tin root CA | Mục 7.4: remote probe-certificate, set-fingerprint bỏ trống |
pvecm add báo lỗi fingerprint/chứng chỉ tới node đã có chứng chỉ ACME | Fingerprint dán vào không phải của chứng chỉ đang phục vụ ở 8006; node mới chưa tin root CA | Lấy fingerprint thực: openssl s_client -connect nodeX.hoatranlabs.local:8006 </dev/null 2>/dev/null | openssl x509 -noout -fingerprint -sha256; tin root CA trên node mới; cần kiểm lại trên máy thật |
Let's Encrypt: too many certificates already issued / too many failed authorizations | Chạm giới hạn tốc độ | Thử bằng staging; chờ cửa sổ giới hạn; số liệu ở mục 11.3 |
| DNS-01: step-CA không thấy TXT | Bản ghi chưa lan truyền hoặc step-CA hỏi resolver khác | Tăng --validation-delay; kiểm tra dig TXT _acme-challenge.<tên> từ VM242 |
Checklist nghiệm thu
- Giờ đồng bộ (
chronyc tracking) trên node, PBS, PDM và VM242 - VM242 phân giải được
node1…node6,pbs01,pbsdr01,pdm01(getent hosts) - FortiGate: step-CA → node TCP 80 và node → step-CA TCP 9000 (kể cả site phụ); UFW VM242 mở 9000 cho
10.100.100.0/24 - Rule PVE firewall TCP 80 từ
10.11.25.42(nếu đã bật firewall ở bài 05) - VM242 chạy step-ca ≥ 0.29.0 (
docker exec step-ca step-ca version; bài 13 dùng image 0.30.2, vá CVE-2025-44005) và có provisioneracme - Root CA cài trên mọi node, pbs01, pbsdr01, pdm01 (
distribute-root-ca.shcủa bài 13 hoặc curl + so khớp fingerprint);curl https://step-ca.hoatranlabs.local:9000/healthkhông cần-k -
pvesh get /cluster/acme/meta --directory ...không lỗi - Account
defaultở trạng tháivalid(cluster: 1 lần; node5, node6: mỗi node) - Mỗi node có
acme: account=default,domains=<node>.hoatranlabs.local -
pvenode cert infotrên mọi node cópveproxy-ssl.pemdo step-CA cấp;curltớihttps://nodeN.hoatranlabs.local:8006/trả200 ssl_verify=0 - Trình duyệt máy quản trị mở GUI bằng FQDN không còn cảnh báo
-
pvenode acme cert renew --force 1chạy thành công trên một node thử -
systemctl list-timers pve-daily-update.timerhoạt động; nhật ký không có "Renewing ACME certificate failed" - pbs01 và pbsdr01 có chứng chỉ step-CA (
proxmox-backup-manager cert info); pdm01 đã cài chứng chỉ và bậtrenew-pdm-cert.timer - Storage
pbs-primarydùng FQDN, đã xoá fingerprint,pvesm statuslàactive; Remote PBS và PDM remote đã bỏ pin - Công cụ tự động hoá và pve-exporter bật kiểm tra TLS (bài 07, bài 15)
-
check-pve-certs.timer(05:15) chạy từ ops01 và báo khi còn dưới 20 ngày - Đã ghi lại cách rollback (mục 12.4) và sao lưu
/etc/pve
Tài liệu tham khảo
Proxmox VE
- Certificate Management (ACME, plugin, gia hạn tự động): https://pve.proxmox.com/pve-docs/chapter-sysadmin.html#sysadmin_certificate_management
- Wiki Certificate Management: https://pve.proxmox.com/wiki/Certificate_Management
-
pvenode(1)(acme account/plugin/cert, config set --acme/--acmedomain): https://pve.proxmox.com/pve-docs/pvenode.1.html - API viewer (
/cluster/acme/*,/nodes/{node}/certificates/*): https://pve.proxmox.com/pve-docs/api-viewer/index.html - Cluster Manager (
pvecm, thêm node, giới hạn số node): https://pve.proxmox.com/pve-docs/chapter-pvecm.html - Mã nguồn
pveupdate(logic gia hạn 30 ngày) vàpve-daily-update.timer: https://git.proxmox.com/?p=pve-manager.git;a=blob;f=bin/pveupdate - Diễn đàn: lỗi
ACME.pmdo thiếu domain: https://forum.proxmox.com/threads/acme-cert-order-not-working.154881/ - Diễn đàn: account với directory tuỳ chọn (PVE và PBS): https://forum.proxmox.com/threads/issue-while-adding-acme-account-with-custom-acme-directory.99102/
Proxmox Backup Server và Datacenter Manager
- PBS – Certificate Management (ACME): https://pbs.proxmox.com/docs/sysadmin.html#certificate-management
-
proxmox-backup-manager(acme account, acme cert order, node update --acmedomain): https://pbs.proxmox.com/docs/proxmox-backup-manager/man1.html - PDM – Certificate Management: https://pdm.proxmox.com/docs/sysadmin.html#certificate-management
- PDM – Connection and Certificate Troubleshooting (pin fingerprint, kho tin cậy hệ thống): https://pdm.proxmox.com/docs/remotes.html#connection-and-certificate-troubleshooting
- Diễn đàn: PDM và ACME account cho CA nội bộ: https://forum.proxmox.com/threads/pdm-acme-account-to-local-ca.177358/
step-CA (Smallstep)
- ACME Basics (
step ca provisioner add acme --type ACME, các loại challenge): https://smallstep.com/docs/step-ca/acme-basics/ - Provisioners (ACME, claims,
provisioner update): https://smallstep.com/docs/step-ca/provisioners/ - Configuration (claims
defaultTLSCertDuration,maxTLSCertDuration): https://smallstep.com/docs/step-ca/configuration/ - Policies (allow/deny tên trong
ca.json): https://smallstep.com/docs/step-ca/policies/ - Production considerations (
/roots.pem, rủi ro ACME mặc định): https://smallstep.com/docs/step-ca/certificate-authority-server-production/ - Renewal (
step ca renew, systemd): https://smallstep.com/docs/step-ca/renewal/ - Advisory CVE-2025-44005 (ACME/SCEP provisioner, vá từ v0.29.0): https://github.com/smallstep/certificates/security/advisories/GHSA-h8cp-697h-8c8p
Khác
- Let's Encrypt – Rate Limits: https://letsencrypt.org/docs/rate-limits/
- Let's Encrypt – lộ trình rút ngắn thời hạn chứng chỉ: https://letsencrypt.org/2025/12/02/from-90-to-45
- acme.sh – DNS API (plugin Proxmox tái sử dụng): https://github.com/acmesh-official/acme.sh/wiki/dnsapi