Triển khai Proxmox Backup Server + Datacenter Manager
Từ cụm Proxmox VE 4 node chạy Ceph và 2 node standalone thành một hệ thống backup tập trung: PBS, datastore Synology NAS chính, đồng bộ một chiều sang DR, retention–verify–restore và PDM quản lý nhiều PVE remote.
Kiến trúc & điều kiện triển khai
Tài nguyên lab · Điều kiện cần & đủ
node1–node4) đã chạy Ceph pool vm-ceph là nguồn dữ liệu cần backup; hai node standalone node5, node6 đặt ở site phụ. Dịch vụ DNS nội bộ cho toàn lab được dựng ở Bài 12 — Pi-hole DNS.
1.1 Tài nguyên lab
- PVE Cluster + Ceph:
-
node1(10.11.45.210) -
node2(10.11.45.211) -
node3(10.11.45.212) -
node4(10.11.45.213)
-
- PVE standalone:
-
node5(10.100.100.20) -
node6(10.100.100.21)
-
- Synology NAS chính:
syno-primary(10.11.45.16) - Synology NAS phụ / DR:
syno-secondary(10.100.100.5) - PBS chính (ví dụ):
pbs01(VM101 trênnode4, 10.11.45.17) - PBS DR (ví dụ):
pbsdr01(10.100.100.6) - PDM (ví dụ):
pdm01(VM102 trênnode4, 10.11.45.18)
Sơ đồ kết nối:
PVE Cluster & PVE standalone ── PBS :TCP 8007 ──> PBS Primary ──> NAS Primary
PBS Primary ── PBS Sync Job (một chiều) ──> PBS-DR / NAS Secondary
PDM ── TCP 8006 (PVE API) ──> quản lý tập trung PVE Cluster + PVE standalone
1.2 Điều kiện cần & đủ
- PVE Cluster: pvecm status phải Quorum OK trước khi backup VM trên Ceph.
- Ceph: ceph status ổn định; không chạy backup lớn khi cluster đang recovery, backfill hoặc nearfull.
- PBS: IP tĩnh, hostname/FQDN nhất quán, disk OS riêng và đủ CPU/RAM cho deduplication, compression, verify.
- NAS: có RAID/SHR, SMART/health alert, UPS và NFS export riêng cho PBS datastore.
- Network: PVE → PBS TCP 8007; PBS → NAS TCP 2049; PDM → PVE TCP 8006 (API; TCP 22 không bắt buộc cho PDM, chỉ mở khi cần SSH quản trị).
- Time: PVE, PBS, PDM, NAS đồng bộ NTP (Quan trọng để kết nối API không bị từ chối).
- DR: dữ liệu chỉ đi Primary → DR, không sync ngược nếu chưa có runbook failback.
- Phiên bản: Ghi lại version PVE/PBS/PDM đang dùng (
pveversion,proxmox-backup-managerversions). Push Sync Job (mục 8.1) có từ PBS 3.3 trở lên; nếu PBS thấp hơn 3.3 thì dùng chế độ Pull đặt trên PBS-DR. Ảnh chụp trong bài dùng PBS 4.2 (Debian 13 “trixie”) và PDM 1.1. - Quy tắc 3-2-1: 3 bản dữ liệu (production + PBS Primary + PBS-DR), 2 loại lưu trữ khác nhau, 1 bản ở site khác. Chi tiết bảo vệ chống ransomware xem mục 11.
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | Máy chủ của bài — PBS Primary (Web UI cổng 8007), datastore syno-primary gắn NFS từ NAS chính; nhận backup từ PVE và đồng bộ một chiều sang PBS DR. |
pdm01 (Proxmox Datacenter Manager) · VM102 | 10.11.45.18 | 45 (MGMT) · node4 | Máy chủ của bài — Proxmox Datacenter Manager (Web UI cổng 8443), quản lý cluster và PVE standalone qua API cổng 8006, thêm cả hai PBS. |
node4 (Proxmox VE) | 10.11.45.213 | 45 (MGMT) · cluster HOATRANHUB | Node Proxmox chứa VM101 và VM102; tạo VM rồi cài PBS và PDM từ ISO tại đây, đồng thời là node cluster được backup lên PBS. |
syno-primary (Synology NAS) | 10.11.45.16 | 45 (MGMT) · NAS | NAS Synology chính — export NFS (cổng 2049) shared folder pbs-primary làm nơi lưu datastore syno-primary của PBS Primary. |
pbsdr01 (PBS DR) | 10.100.100.6 | Site phụ 10.100.100.0/24 · site phụ | PBS DR ở site phụ (Web UI cổng 8007), datastore pbs-dr trên NAS phụ; nhận sync một chiều từ PBS Primary (Push hoặc Pull). |
syno-secondary (Synology NAS) | 10.100.100.5 | Site phụ 10.100.100.0/24 · NAS site phụ | NAS Synology phụ/DR — export NFS (cổng 2049) shared folder pbs-dr làm nơi lưu datastore pbs-dr của PBS DR. |
node1 (Proxmox VE) | 10.11.45.210 | 45 (MGMT) · cluster HOATRANHUB | Node cluster HOATRANHUB (Ceph) được backup lên pbs01; PDM kiểm tra kết nối PVE API cổng 8006 tới node này bằng nc -vz. |
node2 (Proxmox VE) | 10.11.45.211 | 45 (MGMT) · cluster HOATRANHUB | Node cluster HOATRANHUB được backup lên pbs01 (storage pbs-primary, namespace st-20); thêm làm endpoint dự phòng của remote cluster trong PDM. |
node3 (Proxmox VE) | 10.11.45.212 | 45 (MGMT) · cluster HOATRANHUB | Node cluster HOATRANHUB được backup lên pbs01 (storage pbs-primary, namespace st-20); thêm làm endpoint dự phòng của remote cluster trong PDM. |
node5 (Proxmox VE standalone) | 10.100.100.20 | Site phụ 10.100.100.0/24 · standalone | PVE standalone ở site phụ — backup lên pbs01 qua namespace ns-node5 và token riêng; được thêm vào PDM thành remote riêng. |
node6 (Proxmox VE standalone) | 10.100.100.21 | Site phụ 10.100.100.0/24 · standalone | PVE standalone ở site phụ — backup lên pbs01 qua namespace ns-node6 và token riêng; có thể restore chéo từ ns-node5 của node5. |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Bài này dùng /etc/hosts để phân giải tên vì Pi-hole chỉ được dựng ở bài 12; gateway của mỗi VLAN là địa chỉ .1.
Chuẩn bị hostname, route & firewall
Phân giải tên nội bộ · Kiểm tra TCP port · Không public Web UI ra Internet
2.1 Thêm hostname resolution vào tất cả các node, pbs, pdm
cat >> /etc/hosts << 'EOF'
10.11.45.210 node1.hoatranlabs.local node1
10.11.45.211 node2.hoatranlabs.local node2
10.11.45.212 node3.hoatranlabs.local node3
10.11.45.213 node4.hoatranlabs.local node4
10.100.100.20 node5.hoatranlabs.local node5
10.100.100.21 node6.hoatranlabs.local node6
10.11.45.16 syno-primary.hoatranlabs.local syno-primary
10.100.100.5 syno-secondary.hoatranlabs.local syno-secondary
10.11.45.17 pbs01.hoatranlabs.local pbs01
10.100.100.6 pbsdr01.hoatranlabs.local pbsdr01
10.11.45.18 pdm01.hoatranlabs.local pdm01
EOF
getent hosts node1 node2 node3 node4 node5 node6
getent hosts pbs01 pbsdr01 pdm01 syno-primary syno-secondary
getent hosts <hostname> trước khi add storage/remote.
2.2 Firewall tối thiểu
-
node1–node6→ PBS Primary / PBS-DR (TCP 8007): Backup, restore, PBS API. - Admin VLAN/VPN → PBS (TCP 8007): PBS WebUI.
- PBS → Synology NAS (TCP 2049): NFS datastore.
- PBS Primary → PBS-DR (TCP 8007): PBS Sync Job chế độ Push; nếu dùng Pull (mục 8.1.1) thì chiều ngược lại: PBS-DR → PBS Primary (TCP 8007).
- PDM → PVE nodes (TCP 8006): PVE API (TCP 22 không bắt buộc, chỉ mở khi cần SSH quản trị). PDM → PBS (TCP 8007) nếu thêm PBS vào PDM (mục 9.3.1).
- Admin VLAN/VPN → PDM (TCP 8443): PDM WebUI.
- Tất cả → DNS/NTP (53 TCP/UDP, 123 UDP): DNS và đồng bộ giờ.
2.3 Kiểm tra route và port (tùy chọn)
# Trên mỗi PVE node cần backup:
ping -c 2 pbs01
nc -vz pbs01 8007
# Trên PBS Primary:
ping -c 2 syno-primary
showmount -e syno-primary # cần NFSv3/rpcbind (TCP 111); NFS chỉ bật v4 thì bỏ qua, dùng nc bên dưới
nc -vz syno-primary 2049
# Trên PDM:
nc -vz node1 8006
nc -vz node1 22 # tùy chọn, chỉ cần khi dùng SSH quản trị
2.4 Kiểm tra đồng bộ thời gian (NTP)
Mục 1.2 yêu cầu đồng bộ giờ; chạy các lệnh sau trên PVE, PBS, PDM và kiểm tra NAS (DSM → Control Panel → Regional Options → Time). Lệch giờ làm lỗi xác thực token/certificate và sai thứ tự snapshot.
timedatectl status
apt-get install -y chrony # PBS/PDM nếu chưa có; PVE đã có sẵn
chronyc tracking
chronyc sources -v
Cài Proxmox Backup Server
Khuyến nghị tài nguyên PBS · Cài PBS Primary / PBS-DR · Post-install: repository và cập nhật PBS
3.1 Khuyến nghị tài nguyên PBS
| Tài nguyên | Yêu cầu tối thiểu | Khuyến nghị Production |
|---|---|---|
| vCPU | Tối thiểu 2 vCPU. | Khuyến nghị 4 vCPU+ khi có nhiều backup/verify đồng thời. |
| RAM | Tối thiểu 4 GB. | Khuyến nghị 8 GB+ cho nhiều datastore/chunk cache. |
| Network | Tối thiểu 1 GbE. | Khuyến nghị 10 GbE khi backup nhiều VM Ceph/datastore lớn. |
| OS Disk | Tối thiểu 32–64 GB. | Khuyến nghị RAID1/SSD nếu physical PBS. |
| Datastore | NFS NAS. | Khuyến nghị NAS RAID/SHR, còn headroom 20%+. |
3.2 Cài PBS Primary / PBS-DR
Tạo VM từ Node04:
Thông số VM PBS gợi ý (đáp ứng bảng 3.1):
- Machine/BIOS: q35 + OVMF (UEFI) hoặc SeaBIOS; SCSI controller VirtIO SCSI single.
- CPU/RAM: 4 vCPU, type host; RAM 8 GB, tắt Ballooning.
- Disk OS: 32–64 GB (không chứa datastore); datastore nằm trên NFS NAS.
- Network: VirtIO, bridge/VLAN đúng dải IP của PBS (
pbs01dải 10.11.45.x,pbsdr01dải 10.100.100.x). - Options: bật Start at boot, đặt Start order sau NAS; bật QEMU Guest Agent và cài sau khi boot: apt-get install -y
qemu-guest-agent. - Đặt DR đúng chỗ: VM
pbsdr01chạy ở site phụ (node5/node6), không chạy cùng host với PBS Primary. VM PBS/PDM phải loại khỏi backup job (xem 6.2.1 và 11.3).
Start VM và cài đặt:
pbs01.hoatranlabs.local.
root@pam.
3.3 Post-install: repository và cập nhật PBS
Tắt enterprise repo khi không có subscription · Bật PBS no-subscription · Không trộn repository
set -e
BACKUP_DIR="/root/apt-repo-backup-$(date +%F-%H%M%S)"
mkdir -p "$BACKUP_DIR"
cp -a /etc/apt/sources.list /etc/apt/sources.list.d "$BACKUP_DIR/" 2>/dev/null || true
if [ -f /etc/apt/sources.list.d/pbs-enterprise.list ]; then
mv -v /etc/apt/sources.list.d/pbs-enterprise.list \
/etc/apt/sources.list.d/pbs-enterprise.list.disabled
fi
if [ -f /etc/apt/sources.list.d/pbs-enterprise.sources ]; then
mv -v /etc/apt/sources.list.d/pbs-enterprise.sources \
/etc/apt/sources.list.d/pbs-enterprise.sources.disabled
fi
CODENAME=$(. /etc/os-release && echo "$VERSION_CODENAME")
cat > /etc/apt/sources.list.d/pbs-no-subscription.sources <<EOF
Types: deb
URIs: http://download.proxmox.com/debian/pbs
Suites: ${CODENAME}
Components: pbs-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt-get update
apt-get dist-upgrade -y
proxmox-backup-manager versions
apt-cache policy proxmox-backup-server
Tương tự cài đặt PBSDR – Proxmox Backup Server – DR- 10.100.100.6
3.4 Bảo mật cơ bản sau cài đặt (PBS và PBS-DR)
- 2FA: Configuration → Access Control → Two Factor Authentication, bật TOTP cho
root@pamvà tài khoản quản trị. - Tài khoản quản trị riêng: tạo
admin01@pbsvới role Admin cho thao tác hằng ngày; hạn chế dùngroot@pam. - Notification (email): Configuration → Notifications → thêm SMTP target (server, port, from, auth) và matcher gửi khi Backup/GC/Verify/Sync lỗi. Bấm Test để chắc chắn mail đến được.
- Certificate: mặc định self-signed. Nếu thay bằng CA nội bộ/ACME (Configuration → Certificates) thì fingerprint đổi, phải cập nhật lại trên mọi PVE storage và Remote đã khai báo.
- Sao lưu cấu hình PBS: xem mục 11.3.
Chuẩn bị Synology NAS & NFS datastore
Shared folder riêng · NFS export theo IP PBS · Mount bền vững sau reboot
Hướng dẫn thực hiện trên NAS chính và tương tự với NAS Phụ.
4.1 Tạo thư mục và NFS export
Trên Synology Primary (10.11.45.16) tạo shared folder pbs-primary; Synology Secondary (10.100.100.5) tạo pbs-dr.
pbs-primary
- Hostname or IP: Nhập IP của máy chủ PBS.
- Privilege: Read/Write
- Squash: Chọn No mapping (Quan trọng để hệ thống PBS tự quản lý quyền user/group).
- Security: sys
- Tick chọn: Enable asynchronous và Allow connections from non-privileged ports.
Ghi export path: thường là /volume1/pbs-primary và /volume1/pbs-dr.
vers=4 (đã chọn ở bước 1 phía trên). Nếu file hiện nobody:nogroup, kiểm tra NFSv4 domain (nút Advanced Settings) giống nhau ở NAS và PBS.
4.2 Mount NAS Primary trên PBS
# Chạy trên PBS Primary
apt-get update
apt-get install -y nfs-common
mkdir -p /mnt/pbs-primary
mount -t nfs -o vers=4 syno-primary:/volume1/pbs-primary /mnt/pbs-primary
df -hT /mnt/pbs-primary
mount | grep /mnt/pbs-primary
Thêm vào /etc/fstab để mount tự động:
cat >> /etc/fstab <<'EOF'
10.11.45.16:/volume1/pbs-primary /mnt/pbs-primary nfs4 rw,hard,_netdev,noatime,nofail,x-systemd.requires=network-online.target 0 0
EOF
systemctl daemon-reload
mount -a
df -hT /mnt/pbs-primary
x-systemd.automount; dòng fstab khuyến nghị xem ở trên
/mnt/pbs-primary và làm đầy đĩa. Chống bằng cách khóa mountpoint (umount trước rồi chạy):
umount /mnt/pbs-primary
chattr +i /mnt/pbs-primary
mount -a
lsattr -d /mnt/pbs-primary
Đồng thời bắt dịch vụ PBS chờ mount xong: chạy systemctl edit proxmox-backup-proxy rồi thêm các dòng sau (làm tương tự cho proxmox-backup):
[Unit]
RequiresMountsFor=/mnt/pbs-primary
x-systemd.automount cho datastore để chattr +i và RequiresMountsFor ở trên hoạt động đúng. Nếu trước đó đã thêm dòng có x-systemd.automount (như ảnh minh họa), sửa dòng đó trong /etc/fstab thành:
10.11.45.16:/volume1/pbs-primary /mnt/pbs-primary nfs4 rw,hard,_netdev,noatime,nofail,x-systemd.requires=network-online.target 0 0
4.3 Phân quyền truy cập thư mục trên PBS
Cấp quyền cho user 'backup' (UID 34).
Để PBS có thể ghi dữ liệu backup vào thư mục này, bạn phải chuyển quyền sở hữu thư mục cho user backup của hệ thống.
chown -R backup:backup /mnt/pbs-primary
chmod -R 770 /mnt/pbs-primary
4.4 Khai báo Datastore trên giao diện Web PBS
- Name:
syno-primary(hoặc tên bất kỳ bạn muốn hiển thị). - Backing Path:
/mnt/pbs-primary
4.5 Mount NAS Secondary trên PBS-DR
# Chạy trên PBS-DR
apt-get update
apt-get install -y nfs-common
mkdir -p /mnt/pbs-dr
cat >> /etc/fstab <<'EOF'
10.100.100.5:/volume1/pbs-dr /mnt/pbs-dr nfs4 rw,hard,_netdev,noatime,nofail,x-systemd.requires=network-online.target 0 0
EOF
systemctl daemon-reload
mount -a
df -hT /mnt/pbs-dr
4.6 Phân quyền và khai báo Datastore trên PBS-DR
Mục 8 cần datastore pbs-dr; tạo trên PBS-DR như sau:
umount /mnt/pbs-dr
chattr +i /mnt/pbs-dr
mount -a
chown -R backup:backup /mnt/pbs-dr
chmod -R 770 /mnt/pbs-dr
proxmox-backup-manager datastore create pbs-dr /mnt/pbs-dr
proxmox-backup-manager datastore list
Hoặc dùng Web GUI: Datastore → Add, Name pbs-dr, Backing Path /mnt/pbs-dr (như mục 4.4). Tương đương CLI cho Primary: proxmox-backup-manager datastore create syno-primary /mnt/pbs-primary.
Làm tương tự mục 4.2 để PBS-DR chờ mount xong: chạy systemctl edit proxmox-backup-proxy (và proxmox-backup) rồi thêm [Unit] RequiresMountsFor=/mnt/pbs-dr.
/mnt/pbs-primary/store; chown backup:backup) rồi dùng Backing Path /mnt/pbs-primary/store. Nên bỏ chọn Enable Recycle Bin khi tạo shared folder để không phát sinh thư mục #recycle (ảnh lab đang bật).
Cấu hình kết nối PVE và PBS (Tạo User, API Token & Storage)
Tạo User và API Token trên PBS (chỉ dùng để cấp quyền cho PVE) · Cấp quyền (Permissions) cho API Token · Lấy Fingerprint của PBS
5.1 Tạo User và API Token trên PBS (chỉ dùng để cấp quyền cho PVE)
- User name: pve-backup
- Realm: Proxmox Backup authentication server (pbs)
- Bấm Add.
- User: Chọn
pve-backup@pbsvừa tạo. - Token name: Đặt tên bất kỳ, ví dụ pve-token.
- Bấm Add.
pve-backup@pbs!pve-token). Bạn phải copy và lưu lại Token Secret này ra một file text, vì nó sẽ chỉ hiển thị một lần duy nhất.
- Token ID:
pve-backup@pbs!pve-token - Secret: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (mã mẫu đã che; lưu mã thực tế của bạn).
5.2 Cấp quyền (Permissions) cho API Token
Giới hạn quyền chỉ trong namespace st-20 của datastore syno-primary (namespace tạo ở mục 5.4; nếu chưa tạo, làm mục 5.4 trước).
syno-primary.
- Path:
/datastore/syno-primary/st-20(chọn từ danh sách hoặc gõ tay; chỉ cấp quyền trong namespace này). - API Token: Chọn Token
pve-backup@pbs!pve-tokenvừa tạo. - Role: Chọn
DatastoreBackup. (Cho phép PVE tạo backup và đọc/restore các backup do chính token này tạo; không cho xóa hay prune — retention do Prune job trên PBS đảm nhiệm, mục 7.5). - Bấm Add.
pve-backup@pbs với cùng Path và Role — bắt buộc (xem lưu ý bên dưới).DatastoreAdmin cho PVE: role này cho phép xóa/sửa mọi backup trong datastore, mâu thuẫn với nguyên tắc least privilege nêu ở 5.5. Dùng DatastoreBackup tại path /datastore/syno-primary/st-20 (theo namespace). Retention và xóa do Prune job trên PBS đảm nhiệm (mục 7.5), không để PVE tự prune.
- Lưu ý owner: với
DatastoreBackup, PVE chỉ đọc/restore được backup do chính token đó tạo. Backup tạo bởi token khác cần thêm roleDatastoreReader. - User và token: quyền hiệu lực của token là phần giao giữa quyền của token và quyền của user sở hữu (token không thể vượt quá user), nên bước 5 là bắt buộc: cấp cùng role cho cả
pve-backup@pbslẫn token.
5.3 Lấy Fingerprint của PBS
Để PVE xác thực máy chủ PBS.
5.4 Tạo Namespace trên Datastore
Tại giao diện Web của Proxmox Backup Server, chọn Datastore syno-primary, chọn tab Content, bấm Add Namespace và tạo một Namespace có tên chính xác là st-20 trước. Sau khi tạo xong trên PBS, bạn mới có thể Add thành công trên Proxmox VE.
5.5 Khai báo PBS Storage vào Proxmox VE (PVE)
Sử dụng Token thay vì Root.
- ID:
pbs-primary - Server: 10.11.45.17
- Username:
pve-backup@pbs!pve-token - Password: Nhập/Dán Token Secret đã lưu ở Bước 5.1.
- Datastore:
syno-primary - Namespace:
st-20 - Fingerprint: Dán đoạn mã đã copy ở Bước 5.3 vào đây.
Hoặc thực hiện bằng CLI:
# Lệnh khai báo storage PBS vào PVE
pvesm add pbs pbs-primary \
--server 10.11.45.17 \
--datastore syno-primary \
--username 'pve-backup@pbs!pve-token' \
--password '<TOKEN_SECRET>' \
--fingerprint '<FINGERPRINT>' \
--namespace 'st-20'
Ưu điểm của phương pháp này trong doanh nghiệp:
- Bảo mật tối đa: PVE không hề biết mật khẩu root của PBS.
- Nguyên tắc đặc quyền tối thiểu (Least Privilege): Nếu API Token bị lộ, kẻ gian cũng chỉ có thể thao tác trên phân vùng của mình mà không can thiệp vào cấu hình hệ thống.
- Quản lý linh hoạt: Dễ dàng vô hiệu hóa hoặc xóa API Token để ngắt kết nối PVE mà không phải đổi mật khẩu admin.
5.6 Quy hoạch Namespace cho PVE Cluster và PVE standalone
Mục 5.4 mới tạo namespace st-20 cho cluster. node5 và node6 là hai hệ độc lập nên có thể trùng VMID (ví dụ VM 100) với cluster; dùng chung namespace thì các backup group sẽ lẫn nhau. Mỗi nguồn dùng một namespace và một token riêng:
-
st-20: PVE Cluster (node1–node4), tokenpve-backup@pbs!pve-token. -
ns-node5: PVE standalonenode5, tokenpve-backup@pbs!node5-token. -
ns-node6: PVE standalonenode6, tokenpve-backup@pbs!node6-token.
- Tạo namespace
ns-node5,ns-node6trên datastoresyno-primary(như mục 5.4). - Tạo token riêng, cấp role
DatastoreBackuptại/datastore/syno-primary/ns-node5(tương tựns-node6); cấp cùng role tại path đó cho cả userpve-backup@pbsvì quyền token bị giới hạn bởi user sở hữu (xem 5.2). - Trên
node5khai báo storage (thay <TOKEN_SECRET> và <FINGERPRINT> bằng giá trị thật):
pvesm add pbs pbs-primary \
--server 10.11.45.17 --datastore syno-primary \
--username 'pve-backup@pbs!node5-token' --password '<TOKEN_SECRET>' \
--fingerprint '<FINGERPRINT>' --namespace 'ns-node5'
- Muốn restore chéo (mục 6.4): thêm storage thứ hai trên
node6trỏ vàons-node5bằng token chỉ đọc (DatastoreReadertại/datastore/syno-primary/ns-node5, cấp cho cả token và user sở hữu).
5.7 Backup file-level từ trong VM (proxmox-backup-client)
Ngoài job vzdump trên PVE (mục 6), một số VM trong loạt bài (Samba AD DC, Samba, K3s, SonarQube, Nexus, SeaweedFS S3, Prometheus/Loki, Vault, TheHive, CrowdSec, Mattermost) còn chạy proxmox-backup-client ngay trong VM để sao lưu file/thư mục dữ liệu. Tất cả dùng một quy ước chung:
- User:
vm-backup@pbs(realm pbs) — dùng chung cho mọi VM. - API token: mỗi VM một token đặt theo hostname, auth-id
vm-backup@pbs!<hostname>. - Namespace: mỗi VM một namespace
vm-<hostname>trong datastoresyno-primary(tạo như mục 5.4). - Quyền:
DatastoreBackuptại/datastore/syno-primary/vm-<hostname>cho CẢ user lẫn token (quyền token bị giới hạn bởi user sở hữu — xem mục 5.2).
Tạo một lần trên PBS (ví dụ cho VM sonarqube), sau khi đã tạo namespace vm-sonarqube:
# Chạy trên pbs01 — user dùng chung (một lần)
proxmox-backup-manager user create vm-backup@pbs --comment 'In-VM file-level backup'
# Mỗi VM: token + ACL (lưu lại Secret, chỉ hiển thị một lần)
proxmox-backup-manager user generate-token vm-backup@pbs sonarqube
proxmox-backup-manager acl update /datastore/syno-primary/vm-sonarqube DatastoreBackup --auth-id vm-backup@pbs
proxmox-backup-manager acl update /datastore/syno-primary/vm-sonarqube DatastoreBackup --auth-id 'vm-backup@pbs!sonarqube'
Cài proxmox-backup-client trên VM Ubuntu Server 24.04 LTS (noble), một lần cho mỗi VM. Gói đầy đủ của Proxmox được build cho Debian, nên trên Ubuntu dùng bản tĩnh proxmox-backup-client-static từ kho client-only pbs-client (suite trixie, dạng deb822 với Signed-By; bản tĩnh không phụ thuộc glibc của Ubuntu). Đây là cách cài chuẩn dùng chung cho các bài 25–37 (chạy bằng root trên VM cần sao lưu):
wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg -O /usr/share/keyrings/proxmox-archive-keyring.gpg
cat > /etc/apt/sources.list.d/pbs-client.sources << 'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pbs-client
Suites: trixie
Components: main
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt update && apt install -y proxmox-backup-client-static
proxmox-backup-client version
bookworm cũ, apt-key hay file trong trusted.gpg.d của hướng dẫn cũ. Cần kiểm lại trên máy thật: apt của Ubuntu 24.04 nhận kho suite trixie và binary tĩnh chạy được trên VM noble.
Trên VM cần sao lưu, khai báo repository và chạy backup:
export PBS_REPOSITORY='vm-backup@[email protected]:syno-primary'
export PBS_PASSWORD='<TOKEN_SECRET>' # Secret của token ở bước trên
export PBS_FINGERPRINT='<FINGERPRINT>' # fingerprint PBS (mục 5.3), vì chứng chỉ tự ký
proxmox-backup-client backup etc.pxar:/etc data.pxar:/opt --ns vm-sonarqube
<hostname> và thư mục cần sao lưu. Retention/GC/Verify dùng chung chính sách ở mục 7.
Lập lịch Backup và Restore trên PVE
Thêm PBS cho PVE Cluster · Tạo backup job cho VM/LXC trên vm-ceph · Lưu ý cấu hình backup job
6.1 Thêm PBS cho PVE Cluster
Datacenter → Storage → Add → Proxmox Backup Server (Thực hiện tương tự Bước 5.5).
ID: pbs-primary. Server pbs01; Datastore syno-primary. Username: pve-backup@pbs!pve-token. Nhập token secret và xác nhận certificate fingerprint. Content VZDump backup file; chọn node1–node4.
pvesm status
6.2 Tạo backup job cho VM/LXC trên vm-ceph
# Trước khi chạy backup lớn
pvecm status
ceph status
pvesm status
PVE → Datacenter → Backup → Add: storage
pbs-primary, schedule ví dụ daily 22:00, mode Snapshot, chọn VM/LXC và bật notification.
# Backup thử từng VM — thay VMID theo lab
vzdump 100 \
--storage pbs-primary \
--mode snapshot \
--notes-template '{{guestname}} ({{vmid}}) - {{node}}'
6.2.1 Lưu ý cấu hình backup job
- Loại trừ: VM/CT của PBS, PBS-DR và PDM không đưa vào job (không sao lưu hệ thống backup vào chính nó).
- Guest Agent: cài và bật
qemu-guest-agenttrên VM để snapshot có fs-freeze. VM cơ sở dữ liệu nên có dump cấp ứng dụng hoặc hook trước/sau backup. - Khung giờ: không để Backup chồng với GC, Verify, Sync; xem bảng lịch ở 7.5.
- Băng thông: giới hạn bằng Datacenter → Options → Bandwidth Limits hoặc tham số
--bwlimit(KiB/s) nếu đường mạng dùng chung. - Fleecing: trên PVE 8.2 trở lên, bật Advanced → Fleecing với storage nhanh (local/Ceph) để backup chậm do NFS không làm trễ ghi của VM.
- Retention: đặt một nơi duy nhất (Prune job trên PBS), để cấu hình prune trên storage PVE ở mặc định để không xóa chồng.
- Thông báo: Datacenter → Notifications, chọn Notify khi lỗi hoặc luôn thông báo, kiểm tra bằng một job thử.
6.3 Backup test VM Ceph, LXC và standalone
- Chọn VM test có disk trên
vm-ceph. - VM → Backup → Backup now.
- Storage
pbs-primary; mode Snapshot. - Đợi task OK. PBS →
syno-primary→ Content phải thấy snapshot.
# PVE: liệt kê backup trong storage PBS
pvesm list pbs-primary
# PVE: xem task gần đây
pvenode task list --source all --limit 20
6.4 Restore trên PVE Standalone
Trường hợp cần restore VM của node5 sang node6 hoặc ngược lại. Bạn có thể thêm storage PBS thứ hai trên node6 trỏ vào namespace của node5 và tiến hành restore bình thường.
6.5 Restore file lẻ và VM đã bị xóa
- Restore file/thư mục: PVE → chọn VM → Backup → chọn bản backup → File Restore, duyệt và tải file/thư mục cần lấy, không cần restore cả VM.
- VM đã bị xóa: bản backup vẫn còn trong Storage
pbs-primary→ Backups (lọc theo VMID hoặc namespace); chọn Restore. - Khi restore: bật tùy chọn Unique (MAC mới), không bật Start after restore nếu restore cạnh bản gốc đang chạy; ghi lại thời gian để tính RTO.
6.6 Mã hóa phía client (khuyến nghị)
Mã hóa trước khi dữ liệu rời PVE, bảo vệ khi NAS/đĩa bị mất hoặc DR đặt ở bên thứ ba.
pvesm set pbs-primary --encryption-key autogen
ls -l /etc/pve/priv/storage/pbs-primary.enc
/etc/pve; node5 và node6 mỗi máy một key riêng. Chỉ áp dụng cho backup mới; bản cũ vẫn không mã hóa. Verify chỉ kiểm tra toàn vẹn chunk, không đọc được nội dung đã mã hóa.
Retention, Garbage Collection, Verify và Restore
GFS retention · Verify định kỳ · Restore test là tiêu chí bắt buộc
7.1 GFS retention policy mẫu
- Last: 7 (Giữ 7 backup gần nhất)
- Daily: 14 (Giữ 14 mốc ngày)
- Weekly: 8 (Giữ 8 mốc tuần)
- Monthly: 12 (Giữ 12 mốc tháng)
- Yearly: 3 (Giữ 3 mốc năm)
7.2 Lịch vận hành đề xuất
- Backup: Hằng ngày theo nhóm (Đáp ứng RPO)
- Prune: Sau backup/hằng ngày (Xóa restore point hết hạn)
- Garbage Collection: Hằng tuần ngoài giờ (Thu hồi chunk rác)
- Verify: Hằng tuần / SLA (Kiểm checksum và khả năng đọc)
- Restore test: Hằng tháng/quý (Đo RTO, xác thực quy trình)
7.3 Verify và capacity
PBS → Datastore → syno-primary → Verify All để thử nghiệm ban đầu; sau đó tạo verify job theo lịch.
proxmox-backup-manager garbage-collection status syno-primary
df -hT /mnt/pbs-primary
dmesg -T | egrep -i 'error|i/o|nfs|ext4|xfs' | tail -n 50
7.4 Restore VM/LXC test
- Xác định snapshot cần restore.
- Kiểm tra storage đích có đủ dung lượng.
- PVE → Storage →
pbs-primary→ Backups. Chọn backup → Restore. - Khi test: restore VMID mới, isolated VLAN để không trùng IP production.
- Start VM/LXC; kiểm tra boot, filesystem, service, dữ liệu và log. Ghi nhận thời gian RTO.
7.5 Tạo Prune, Garbage Collection và Verify job
Mục 7.1 và 7.2 mới nêu chính sách. Các bước thực hiện trên PBS Primary:
- Datastore →
syno-primary→ Prune & GC → Add Prune Job: schedule hằng ngày, Keep Last 7, Daily 14, Weekly 8, Monthly 12, Yearly 3. Giữ Namespace = Root và Max Depth = Full (mặc định) để job áp dụng cho cả namespace const-20,ns-node5,ns-node6; Verify job cũng tương tự. - Cùng tab Prune & GC → sửa lịch Garbage Collection: chạy hằng tuần ngoài giờ.
- Tab Verify Jobs → Add: hằng tuần, bật Skip Verified và Re-Verify After 30 ngày.
Tương đương CLI:
proxmox-backup-manager prune-job create prune-primary --store syno-primary \
--schedule '03:00' --keep-last 7 --keep-daily 14 \
--keep-weekly 8 --keep-monthly 12 --keep-yearly 3
proxmox-backup-manager datastore update syno-primary --gc-schedule 'sun 05:00'
proxmox-backup-manager verify-job create verify-primary --store syno-primary \
--schedule 'sat 08:00' --ignore-verified true --outdated-after 30
proxmox-backup-manager prune-job list
Gợi ý trình tự để các job không chồng nhau:
- 22:00 Backup từ PVE.
- 00:30–01:00 Sync Primary → DR (mục 8).
- 03:00 Prune hằng ngày.
- Chủ nhật 05:00 Garbage Collection.
- Thứ Bảy 08:00 Verify.
Đồng bộ PBS Primary sang PBS-DR
Remote PBS · Sync Job một chiều · Test đọc/restore tại site phụ
8.1 Tạo PBS remote và Sync Job
Mục tiêu: syno-primary trên PBS Primary đồng bộ sang pbs-dr trên PBS-DR. Các bước 1–3 dưới đây là chế độ Push (job đặt trên Primary); nếu chọn Pull (khuyến nghị, xem 8.1.1) thì tạo Remote và Sync Job trên PBS-DR.
- Name
pbs-dr; serverpbsdr01, port 8007; xác nhận fingerprint; Auth ID là token trên PBS-DR (dạngsync-dr@pbs!<tên-token>) cùng secret của token (xem 8.1.1).
- Source local
syno-primary; Remotepbs-dr; Remote datastorepbs-dr. - Schedule sau backup production 1–2 giờ.
8.1.1 Chọn chế độ Push hay Pull và thiết lập quyền
- Push (như thiết kế trên): Primary đẩy sang DR, cần PBS 3.3+. Trên PBS-DR tạo user
sync-dr@pbsvà token, cấpDatastoreBackuptại/datastore/pbs-drcho cả user lẫn token (thêmDatastore.Prunenếu bật Remove vanished). Tạo sẵn các namespacest-20,ns-node5,ns-node6trênpbs-dr, nếu không token phải có thêmDatastore.Modifyđể job tự tạo namespace. Nếu không dùngroot@pamđể tạo job, tài khoản đó cầnRemote.Audittrên/remote/pbs-drvàRemote.DatastoreBackuptrên/remote/pbs-dr/pbs-dr. - Pull (khuyến nghị cho ransomware): PBS-DR kéo từ Primary. Trên Primary tạo token chỉ đọc (
DatastoreReader, cấp cho cả user lẫn token), trên PBS-DR thêm Remote trỏpbs01và tạo Sync Job. Khi Primary bị chiếm quyền, kẻ tấn công không có thông tin đăng nhập để ghi hoặc xóa trên DR. - Phạm vi: chọn Max Depth đủ sâu để lấy cả namespace con (
st-20,ns-node5,ns-node6). - Remove vanished: để tắt, để backup bị xóa nhầm ở Primary không bị xóa theo ở DR.
- Retention riêng cho DR: sync không tự prune; tạo Prune, GC, Verify job trên PBS-DR theo mục 7.5 (có thể giữ lâu hơn Primary).
- Băng thông: đặt Rate limit trên Sync Job/Remote nếu đi qua đường site-to-site; lần đồng bộ đầu rất lớn nên chạy ngoài giờ.
8.2 Verify DR copy
# Trên PBS-DR
proxmox-backup-manager datastore show pbs-dr
df -hT /mnt/pbs-dr
pbs-dr → Content thấy snapshot đã sync. Chạy verify một phần tại DR và restore thử VM nhỏ vào network cô lập.
Triển khai Proxmox Datacenter Manager
PDM quản lý tập trung nhiều PVE remote · Không thay PBS hoặc quorum PVE
9.1 Vai trò PDM
PDM cung cấp một điểm quản trị cho nhiều Proxmox VE remote/datacenter. PDM không thay thế PVE cluster manager, không tạo quorum, không thay PBS datastore và không thay DR procedure.
9.2 Cài PDM từ ISO
Boot VM/máy chủ pdm01 bằng ISO Proxmox Datacenter Manager.
Chọn disk OS, timezone, root password/email, hostname/IP tĩnh.
Reboot; mở Dashboard
Đăng nhập root@pam.
hostnamectl
ip -br a
ss -lntp | grep 8443
systemctl list-units | grep -i proxmox
9.2.1 Post-install PDM: repository và cập nhật
Tương tự mục 3.3, chỉ chạy khi không có subscription. Thực hiện trên pdm01:
for f in /etc/apt/sources.list.d/*enterprise*.sources; do [ -e "$f" ] && mv -v "$f" "$f.disabled"; done
CODENAME=$(. /etc/os-release && echo "$VERSION_CODENAME")
cat > /etc/apt/sources.list.d/pdm-no-subscription.sources <<EOF
Types: deb
URIs: http://download.proxmox.com/debian/pdm
Suites: ${CODENAME}
Components: pdm-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt-get update && apt-get dist-upgrade -y
9.3 Add PVE remote vào PDM
- Remotes/Datacenters → Add Proxmox VE remote.
- Add cluster Ceph:
pve-ceph-prod, endpoint PVE. - Xác nhận certificate fingerprint và nhập credential/API token có quyền tối thiểu.
- Kiểm tra PDM thấy node, VM/LXC, storage, task, health. Lặp lại cho standalone.
9.3.1 Tạo user/token riêng cho PDM trên PVE
Chạy trên một node của mỗi remote (cluster: một node là đủ vì cấu hình dùng chung; node5 và node6 làm riêng). Lab dùng PVEAdmin; production nên hạ quyền theo nhu cầu (chỉ giám sát thì PVEAuditor):
pveum user add pdm@pve --comment 'Proxmox Datacenter Manager'
pveum acl modify / --users pdm@pve --roles PVEAdmin
pveum user token add pdm@pve pdm-token --privsep 0
pvenode cert info | grep -i fingerprint
Dán Token ID (pdm@pve!pdm-token), Secret và fingerprint vào bước Add remote của PDM; Secret chỉ hiển thị một lần.
- Failover endpoint: với cluster, thêm endpoint của nhiều node (
node1–node4) để PDM vẫn kết nối khi một node tắt. - Thêm PBS vào PDM: Remotes → Add → Proxmox Backup Server (
pbs01vàpbsdr01, port 8007) bằng token chỉ cần quyền xem, để theo dõi datastore, dung lượng và task ngay trên PDM. Cần mở TCP 8007 từ PDM đến PBS. - Kiểm tra: Dashboard hiển thị đủ cluster,
node5,node6, trạng thái online và không có cảnh báo certificate.
9.4 Bảo mật PDM
Dùng token/account riêng cho từng remote. Chỉ mở TCP 8443 từ admin VLAN hoặc VPN. Bật MFA.
Kiểm tra & xử lý lỗi thường gặp
Kiểm tra nhanh bằng CLI · Lỗi thường gặp · Checklist tổng hợp sau triển khai
10.1 Kiểm tra nhanh bằng CLI
# PBS Primary
proxmox-backup-manager versions
systemctl is-active proxmox-backup-proxy
proxmox-backup-manager datastore list
proxmox-backup-manager datastore show syno-primary
df -hT /mnt/pbs-primary
# PVE Cluster
pvecm status
ceph status
pvesm status
10.2 Lỗi thường gặp
- PVE không add được PBS:
nc-vzpbs018007; kiểm DNS, fingerprint, token, PBS ACL. - Backup lỗi permission: Kiểm ACL
/datastore/syno-primary; dùng token đúng scope. - Datastore unavailable sau reboot: Kiểm
/etc/fstab, mount -a, showmount -e, DSM NFS permission. - Dung lượng không giảm: Kiểm và lập lịch Garbage Collection (Prune không phải GC).
- Backup ghi vào đĩa OS thay vì NAS: NFS chưa mount; xem Warning ở 4.2 (chattr +i,
RequiresMountsFor). - Restore lỗi hoặc đòi key: backup đã mã hóa, cần đúng file key (.enc) ở mục 6.6.
- Không thấy/không restore được backup cũ: khác namespace hoặc khác owner token; kiểm tra namespace trên storage và role
DatastoreReader(mục 5.2, 5.6). - Sync Job lỗi: kiểm tra Remote và fingerprint (certificate PBS vừa đổi?), token còn hạn, quyền trên
/datastore/pbs-dr, dung lượng DR, giờ hệ thống. - GC hoặc Verify chạy rất lâu: NFS chậm; xem mục 4.1 (hiệu năng), đổi lịch ngoài giờ, kiểm tra mạng và tải NAS.
- Lỗi sau khi nâng cấp/đổi cert: fingerprint đổi, cập nhật lại trên PVE storage, PBS Remote, PDM remote.
10.3 Checklist tổng hợp sau triển khai
- pvecm status → 4 node, Quorum OK.
- ceph status → ổn định, không nearfull.
- pvesm status →
pbs-primaryactive trên các PVE node. - Backup test VM trên
vm-ceph, LXC, node standalone → OK. - Retention GFS, Prune, GC, Verify đã có schedule.
- Sync
syno-primary→pbs-dr→ OK. - PDM add thành công cluster Ceph và remote standalone.
- Datastore
pbs-drđã tạo, Prune/GC/Verify trên PBS-DR có lịch (mục 4.6, 8.1.1). - Namespace và token riêng cho từng nguồn (
st-20,ns-node5,ns-node6); quyền tối thiểu (mục 5.2, 5.6). - Đã gửi mail thử từ PBS/PVE; nhận được thông báo khi job lỗi.
- Đã lưu file encryption key offline (nếu bật mã hóa) và sao lưu cấu hình PBS/PDM ra ngoài (mục 6.6, 11.3).
- Đã restore thử từ cả Primary lẫn DR (mục 11.2), ghi RTO thực tế.
- NAS có snapshot bất biến hoặc bản sao ngoại tuyến (mục 11.1); secret mẫu đã thu hồi.
Vận hành nâng cao: chống ransomware, DR failover và bảo trì
Bảo vệ chống ransomware cho kho backup · Runbook DR failover · Sao lưu cấu hình hạ tầng backup
Backup chỉ có giá trị khi không bị kẻ tấn công xóa cùng dữ liệu gốc, và khi biết cách dùng nó lúc thảm họa.
11.1 Bảo vệ chống ransomware cho kho backup
- Snapshot NAS: bật Snapshot Replication (Btrfs snapshot) cho shared folder
pbs-primaryvàpbs-dr, bật khóa xóa/immutable nếu DSM hỗ trợ, giữ ít nhất 7–14 ngày. - Tách thông tin đăng nhập: tài khoản PBS, NAS, PVE khác mật khẩu, không dùng chung domain quản trị; bật 2FA cho PBS, PDM, DSM; chỉ mở 8007/8443/DSM từ VLAN quản trị hoặc VPN.
- Chiều đồng bộ: ưu tiên Pull để DR giữ credential chỉ đọc (mục 8.1.1); không lưu credential ghi DR trên Primary.
- Bản ngoại tuyến: định kỳ (tháng/quý) có bản ngoài hệ thống (đĩa USB/NAS offline hoặc cloud) để đáp ứng 3-2-1.
11.2 Runbook DR failover
- Xác nhận Primary mất. Tắt (Disable) mọi Sync Job liên quan để dữ liệu hỏng không lan sang DR.
- Trên PVE đích (cluster khôi phục hoặc
node5/node6): Datacenter → Storage → Add → Proxmox Backup Server, trỏpbsdr01, datastorepbs-dr, namespace tương ứng, token chỉ đọc, nhập fingerprint PBS-DR. - Chọn snapshot mới nhất có trạng thái Verify OK, restore sang VLAN cô lập, kiểm tra boot, dữ liệu, dịch vụ.
- Đưa vào production theo thứ tự ưu tiên dịch vụ; tạm trỏ backup job mới sang
pbs-dr(cần token cóDatastoreBackuptrênpbs-dr; token chỉ đọc ở bước 2 không ghi được). - Failback: dựng lại Primary, đồng bộ dữ liệu từ DR về Primary có kiểm soát (một lần, có người phê duyệt), kiểm tra, rồi khôi phục chiều Primary → DR và bật lại Sync Job.
- Ghi nhận thời gian thực tế và cập nhật RPO/RTO.
11.3 Sao lưu cấu hình hạ tầng backup
PBS/PDM không nằm trong backup job của chính nó, nên cần sao lưu cấu hình ra ngoài (NAS khác hoặc máy quản trị):
# PBS
tar czf /root/pbs-config-$(date +%F).tgz /etc/proxmox-backup
# PDM
tar czf /root/pdm-config-$(date +%F).tgz /etc/proxmox-datacenter-manager
# Dựng lại PBS rồi gắn lại datastore có sẵn trên NAS
proxmox-backup-manager datastore create syno-primary /mnt/pbs-primary --reuse-datastore true
Lưu thêm: file encryption key, danh sách token (tên, quyền; không lưu secret trong tài liệu), bảng IP/namespace. Có thể dùng vzdump backup VM PBS/PDM sang storage local khác của PVE.
11.4 Giám sát, năng lực và bảo trì
- Giám sát: Notification của PBS/PVE, Dashboard PDM; nếu đã có Prometheus/Grafana thì thêm cảnh báo dung lượng datastore 70–80% và job lỗi.
- Thứ tự nâng cấp: PBS-DR trước, sau đó PBS Primary, PDM, rồi PVE; không nâng cấp khi đang Backup/GC/Sync. Kiểm tra
proxmox-backup-managertask list sau nâng cấp. - Xoay secret: đổi token định kỳ 6–12 tháng hoặc khi có người rời đội; cập nhật PVE storage, PBS remote, PDM remote tương ứng.
- Restore test định kỳ: theo mục 7.2, có biên bản gồm VM, thời gian restore, kết quả kiểm tra ứng dụng.